ELMo

Definition

ELMo génère des embeddings de mots sensibles au contexte en traitant le texte d’entrée via un LSTM bidirectionnel entraîné sur un grand corpus. Contrairement aux embeddings statiques comme Word2Vec, ELMo capture la polysémie en produisant des représentations différentes selon le contexte.

Summary

Embeddings from Language Models, une méthode de représentation de mots contextuelle profonde utilisant des LSTM bidirectionnels.

Key Concepts

• Embeddings contextuels
• LSTM bidirectionnel
• Pré-entraînement
• Polysémie

Use Cases

• Analyse des sentiments
• Reconnaissance d’entités nommées
• Résolution de coréférence

Related Terms

• Word2Vec (Modèle statistique pour la génération d’embeddings de mots)
• BERT (Modèle de langage bidirectionnel profond)
• Transformateur (Architecture de réseau neuronal basée sur l’attention)
• Modélisation du langage (Prédiction du prochain mot ou complétion de texte)