Token-grænse
term_id: token_limit
Category: engineering_practice
Definition
Token-grænsen definerer begrænsningen af kontekstvinduets størrelse for store sprogmodeller og begrænser, hvor meget tekst der kan analyseres eller genereres ad gangen. Denne arkitektoniske grænse har indflydelse på hukommelsesstyringen,
Summary
Det maksimale antal tokens, en AI-model kan behandle i én enkelt input- eller outputsekvens.
Key Concepts
- Kontekstvindue
- Afkortning (Truncation)
- Prompt-ingeniørkunst
- Hukommelsesstyring
Use Cases
- Design af RAG-systemer
- Optimering af promptlængde
- Håndtering af lang dokumentbehandling