Kontextové okno
term_id: context_window
Category: engineering_practice
Definition
Kontextové okno definuje operační limit paměti modelu AI pro jednu interakci. Určuje, kolik předchozí historie konverzace, textu dokumentu nebo vstupních dat model dokáže vzít v úvahu při generování odpovědi.
Summary
Maximální množství textu nebo tokenů, které může jazykový model zpracovat a zohlednit současně během inferenčního procesu nebo tréninku.
Key Concepts
- Limit tokenů
- Mechanismus pozornosti
- Omezení paměti
- Délka vstupu
Use Cases
- Shrnování dlouhých dokumentů
- Udržování historie konverzací v chatbotech
- Analýza velkých kódových bází