Kontekstvindue
term_id: context_window
Category: engineering_practice
Definition
Kontekstvinduet definerer den operationelle grænse for en AI-modells hukommelse for en enkelt interaktion. Det bestemmer, hvor meget tidligere samtalehistorik, dokumenttekst eller inputdata modellen kan fokusere på for at generere et sammenhængende svar.
Summary
Den maksimale mængde tekst eller tokens, som en sprogmodel kan behandle og tage højde for samtidigt under inference eller træning.
Key Concepts
- Token-grænse
- Opmærksomhedsmekanisme
- Hukommelsesbegrænsninger
- Indlængde
Use Cases
- Sammendrag af lange dokumenter
- Bevarelse af samtalehistorik i chatbots
- Analyse af store kodebasers