Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Cross-lingual Language Model RoBERTa) est un modèle multilingue à grande …

Le réglage par préfixe est une technique d’adaptation économe en paramètres pour …

Le contexte long désigne la capacité des modèles basés sur des transformateurs à gérer …

Le remplissage de masque est un objectif d’apprentissage préliminaire fondamental …

ExBERT offre une interprétabilité au modèle transformateur BERT en analysant …

Étant donné que les transformateurs traitent tous les tokens en parallèle plutôt que …

Les encodeurs traitent des séquences d’entrée brutes ou des structures de données …

Les adaptateurs sont une technique d’ajustement fin économe en paramètres, …

Les mécanismes d’attention permettent aux modèles de se concentrer sur les …

L’auto-attention permet aux modèles de capturer les dépendances entre toutes les …