Tokenlimiet
term_id: token_limit
Category: engineering_practice
Definition
De tokenlimiet bepaalt de beperking van de contextvenstergrootte voor grote taalmodellen, waardoor wordt gereguleerd hoeveel tekst tegelijk kan worden geanalyseerd of gegenereerd. Deze architectonische grens heeft invloed op het geheugenbeheer,
Summary
Het maximale aantal tokens dat een AI-model in één invoer- of uitvoersekwentie kan verwerken.
Key Concepts
- Contextvenster
- Afsnijden (Truncation)
- Prompt Engineering
- Geheugenbeheer
Use Cases
- Ontwerpen van RAG-systemen
- Optimaliseren van promptlengte
- Verwerking van lange documenten