Token-Limit
term_id: token_limit
Category: engineering_practice
Definition
Der Token-Limit definiert die Einschränkung der Kontextfenstergröße für große Sprachmodelle und beschränkt, wie viel Text gleichzeitig analysiert oder generiert werden kann. Diese architektonische Grenze wirkt sich auf das Speicher-Management aus,
Summary
Die maximale Anzahl von Tokens, die ein KI-Modell in einer einzelnen Eingabe- oder Ausgabesequenz verarbeiten kann.
Key Concepts
- Kontextfenster
- Abschneidung
- Prompt-Engineering
- Speicher-Management
Use Cases
- Entwurf von RAG-Systemen
- Optimierung der Prompt-Länge
- Verarbeitung langer Dokumente