Tokenhatár
term_id: token_limit
Category: engineering_practice
Definition
A tokenhatár meghatározza a nagy nyelvi modellek kontextusablakának méretkorlátját, korlátozva, hogy egyszerre mennyi szöveg elemezhető vagy generálható. Ez az architektúrális határ befolyásolja a memóriakezelést,
Summary
Az a maximális tokenek száma, amelyet egy AI modell egyetlen bemeneti vagy kimeneti sorozatban feldolgozni képes.
Key Concepts
- Kontextusablak
- Megvágás (Truncation)
- Prompt mérnökség
- Memóriakezelés
Use Cases
- RAG rendszerek tervezése
- Prompt hosszának optimalizálása
- Hosszú dokumentumok feldolgozása