Tokengrense
term_id: token_limit
Category: engineering_practice
Definition
Tokengrensen definerer begrensningen i kontekstvinduet for store språkmodeller, som begrenser hvor mye tekst som kan analyseres eller genereres om gangen. Denne arkitektoniske grensen påvirker minneadministrasjonen,
Summary
Maksimalt antall token en AI-modell kan behandle i én enkelt input- eller output-sekvens.
Key Concepts
- Kontekstvindu
- Avkorting
- Prompt-ingeniørfag
- Minneadministrasjon
Use Cases
- Design av RAG-systemer
- Optimalisering av promptlengde
- Håndtering av lang dokumentbehandling