Limit tokenů
term_id: token_limit
Category: engineering_practice
Definition
Limit tokenů definuje omezení velikosti kontextového okna pro velké jazykové modely, což omezuje množství textu, které lze analyzovat nebo vygenerovat najednou. Tato architektonická hranice ovlivňuje správu paměti,
Summary
Maximální počet tokenů, které může model AI zpracovat v jednom vstupním nebo výstupním pořadí.
Key Concepts
- Kontextové okno
- Ořezávání
- Inženýrství promptů
- Správa paměti
Use Cases
- Navrhování systémů RAG
- Optimalizace délky promptu
- Zpracování dlouhých dokumentů