Limite de jetons
term_id: token_limit
Category: engineering_practice
Definition
La limite de jetons définit la contrainte de taille de la fenêtre de contexte pour les grands modèles de langage, restreignant la quantité de texte pouvant être analysée ou générée à la fois. Cette limite architecturale impacte la gestion de la mémoire,
Summary
Le nombre maximal de jetons qu’un modèle d’IA peut traiter dans une séquence d’entrée ou de sortie unique.
Key Concepts
- Fenêtre de contexte
- Troncature
- Ingénierie des invites
- Gestion de la mémoire
Use Cases
- Conception de systèmes RAG
- Optimisation de la longueur des invites
- Traitement de longs documents