Konteks Panjang
term_id: long_context
Category: basic_concepts
Definition
Konteks panjang merujuk pada kapasitas model berbasis transformer untuk menangani panjang input yang ekstensif, sering kali melampaui batas standar seperti 2k atau 4k token. Kemampuan ini memungkinkan model menganalisis dokumen lengkap, kode sumber, atau transkrip panjang secara utuh tanpa kehilangan konteks penting.
Summary
Kemampuan model bahasa untuk memproses dan menyimpan informasi dari urutan input yang berisi ribuan atau jutaan token.
Key Concepts
- Jendela konteks
- Batas token
- Mekanisme perhatian
- Enkoding posisi
Use Cases
- Meringkas kontrak hukum lengkap
- Menganalisis repositori kode sumber secara menyeluruh
- Memproses transkrip audio berdurasi panjang