Lange context
term_id: long_context
Category: basic_concepts
Definition
Lange context verwijst naar de capaciteit van transformer-gebaseerde modellen om uitgebreide invoerlengtes aan te kunnen, vaak voorbij standaardlimieten zoals 2k of 4k tokens. Deze mogelijkheid stelt modellen in staat volledige documenten, broncodebases of lange conversaties te analyseren en de semantische samenhang over lange afstanden te behouden.
Summary
Het vermogen van een taalmodel om informatie te verwerken en te behouden uit invoersequenties die duizenden of miljoenen tokens bevatten.
Key Concepts
- Contextvenster
- Tokenlimiet
- Attention-mechanisme (Aandachtsmechanisme)
- Positieve codering
Use Cases
- Samenvatten van volledige juridische contracten
- Analyseren van complete broncode-repositories
- Verwerken van transcripties van lange audiofragmenten