ELMo
term_id: elmo
Category: basic_concepts
Definition
ELMo генерирует контекстно-зависимые векторные представления слов, обрабатывая входной текст через двунаправленную LSTM, обученную на большом корпусе. В отличие от статических эмбеддингов, таких как Word2Vec, ELMo улавливает полисемию, производя различные представления для одного слова в разных контекстах.
Summary
Векторные представления слов из языковых моделей, метод глубокого контекстуализированного представления слов с использованием двунаправленных LSTM.
Key Concepts
- Контекстуальные эмбеддинги
- Двунаправленная LSTM
- Предварительное обучение
- Полисемия
Use Cases
- Анализ тональности текста
- Распознавание именованных сущностей
- Разрешение кореференции