Tokeniraja
term_id: token_limit
Category: engineering_practice
Definition
Tokeniraja määrittää kontekstiikkunan koon rajoituksen suurille kielimalleille, rajoittaen kuinka paljon tekstiä voidaan analysoida tai tuottaa kerrallaan. Tämä arkkitehtoninen raja vaikuttaa muistin hallintaan,
Summary
Maksimimäärä tokeneita, jotka tekoälymalli voi käsitellä yhdessä syöte- tai lähtösekvenssissä.
Key Concepts
- Kontekstiikkuna
- Rajaus (Truncation)
- Prompt-insinööritaito
- Muistin hallinta
Use Cases
- RAG-järjestelmien suunnittelu
- Promptin pituuden optimointi
- Pitkien dokumenttien käsittely