Contextvenster
term_id: context_window
Category: engineering_practice
Definition
Het contextvenster definieert de operationele limiet van het geheugen van een AI-model voor een enkele interactie. Het bepaalt hoeveel eerdere conversatiegeschiedenis, documenttekst of invoergegevens het model kan ‘attention’ (focus) geven bij het genereren van een antwoord.
Summary
De maximale hoeveelheid tekst of tokens die een taalmodel gelijktijdig kan verwerken en in overweging kan nemen tijdens inferentie of training.
Key Concepts
- Tokenlimiet
- Attention-mechanisme
- Geheugenbeperkingen
- Invoergrootte
Use Cases
- Samenvatten van lange documenten
- Het behouden van conversatiegeschiedenis in chatbots
- Het analyseren van grote codebases