ELMo

Definition

ELMo genera embedding di parole sensibili al contesto elaborando il testo di input attraverso una LSTM bidirezionale addestrata su un grande corpus. A differenza degli embedding statici come Word2Vec, ELMo cattura la polisemia producendo rappresentazioni diverse per la stessa parola a seconda del contesto.

Summary

Embedding dai modelli linguistici, un metodo di rappresentazione contestuale delle parole basato su LSTM bidirezionali.

Key Concepts

• Embedding contestuali
• LSTM bidirezionale
• Pre-addestramento
• Polisemia

Use Cases

• Analisi del sentiment
• Riconoscimento di entità nominate
• Risoluzione della coreferenza

Related Terms

• Word2Vec (metodo per generare embedding di parole)
• BERT (modello linguistico bidirezionale avanzato)
• Trasformatore (architettura basata sull’attenzione)
• Modellazione linguistica (predizione di parole successive)