Kontekstvindu
term_id: context_window
Category: engineering_practice
Definition
Kontekstvinduet definerer den operative grensen for en AI-modells minne for en enkelt interaksjon. Det avgjør hvor mye tidligere samtalehistorikk, dokumenttekst eller inndata modellen kan ta hensyn til i sin analyse.
Summary
Den maksimale mengden tekst eller tokener som en språkmodell kan behandle og vurdere samtidig under inferens eller trening.
Key Concepts
- Tokenbegrensning
- Oppmerksomhetsmekanisme
- Minnebegrensninger
- Innmatingslengde
Use Cases
- Oppsummering av lange dokumenter
- Opprettholdelse av samtalehistorikk i chatbots
- Analyse av store kodebaser