Batas Token
term_id: token_limit
Category: engineering_practice
Definition
Batas token menentukan batasan ukuran jendela konteks untuk model bahasa besar, membatasi seberapa banyak teks yang dapat dianalisis atau dihasilkan sekaligus. Batas arsitektur ini berdampak pada manajemen memori,
Summary
Jumlah maksimum token yang dapat diproses oleh model AI dalam satu urutan input atau output.
Key Concepts
- Jendela Konteks
- Pemotongan (Truncation)
- Rekayasa Prompt
- Manajemen Memori
Use Cases
- Merancang sistem RAG
- Mengoptimalkan panjang prompt
- Memproses dokumen panjang