Tokengräns
term_id: token_limit
Category: engineering_practice
Definition
Tokengränsen definierar begränsningen av kontextfönstrets storlek för stora språkmodeller, vilket begränsar hur mycket text som kan analyseras eller genereras på en gång. Denna arkitektoniska gräns påverkar minneshanteringen,
Summary
Det maximala antalet token som en AI-modell kan bearbeta i en enda inmatnings- eller utmatningssekvens.
Key Concepts
- Kontextfönster
- Avkapning
- Prompt-engineering
- Minneshantering
Use Cases
- Utformning av RAG-system
- Optimering av promptlängd
- Bearbetning av långa dokument