Limit tokenów
term_id: token_limit
Category: engineering_practice
Definition
Limit tokenów definiuje ograniczenie rozmiaru okna kontekstowego dla dużych modeli językowych, ograniczając ilość tekstu, która może być analizowana lub generowana jednocześnie. Ta granica architektoniczna wpływa na zarządzanie pamięcią,
Summary
Maksymalna liczba tokenów, które model sztucznej inteligencji może przetworzyć w pojedynczej sekwencji wejściowej lub wyjściowej.
Key Concepts
- Okno kontekstowe
- Odcinanie (truncation)
- Inżynieria promptów
- Zarządzanie pamięcią
Use Cases
- Projektowanie systemów RAG
- Optymalizacja długości promptu
- Przetwarzanie długich dokumentów