Jeton
term_id: token
Category: basic_concepts
Definition
Les jets sont les blocs de construction fondamentaux des données d’entrée en TALN, représentant généralement des mots, des sous-mots ou des caractères. Les grands modèles de langage (LLM) traitent le texte en le convertissant en jets, qui sont ensuite transformés en représentations vectorielles pour l’analyse.
Summary
Un jeton est une unité discrète de texte ou de données qui sert d’élément d’entrée de base pour les modèles de traitement du langage naturel.
Key Concepts
- Unité Discrète
- Vocabulaire
- Embedding (Plongement lexical)
- Fenêtre de Contexte
Use Cases
- Génération de texte dans les LLM
- Prétraitement de la traduction automatique
- Formatage des entrées pour l’analyse de sentiments