Contexte long
term_id: long_context
Category: basic_concepts
Definition
Le contexte long désigne la capacité des modèles basés sur des transformateurs à gérer des longueurs d’entrée extensives, dépassant souvent les limites standards comme 2k ou 4k jetons. Cette capacité permet aux modèles d’analyser des documents entiers, des codes sources complets ou des conversations prolongées sans perdre le fil narratif ou structurel, grâce à des mécanismes d’attention optimisés.
Summary
La capacité d’un modèle de langage à traiter et retenir des informations provenant de séquences d’entrée contenant des milliers ou des millions de jetons.
Key Concepts
- Fenêtre de contexte
- Limite de jetons
- Mécanisme d’attention
- Encodage positionnel
Use Cases
- Résumé de contrats juridiques complets
- Analyse de dépôts de code source entiers
- Traitement de transcriptions audio de longue durée