Kontextfönster
term_id: context_window
Category: engineering_practice
Definition
Kontextfönstret definierar den operativa gränsen för en AI-modells minne för en enskild interaktion. Det avgör hur mycket tidigare konversationshistorik, dokumenttext eller indata modellen kan ta hänsyn till i sitt svar.
Summary
Den maximala mängden text eller token som en språkmodell kan bearbeta och beakta samtidigt under inferens eller träning.
Key Concepts
- Tokenbegränsning
- Uppmärksamhetsmekanism
- Minnesbegränsningar
- Inmatningslängd
Use Cases
- Sammanfattning av långa dokument
- Behålla konversationshistorik i chattbotar
- Analys av stora kodbaserna