ELMo

Definition

ELMo generuje osadzenia słów zależne od kontekstu, przetwarzając wejściowy tekst przez dwukierunkową sieć LSTM trenowaną na dużym korpusie. W przeciwieństwie do statycznych osadzeń takich jak Word2Vec, ELMo wychwytuje polisemię, produkując różne wektory dla tego samego słowa w zależności od otoczenia.

Summary

Osadzenia z modeli językowych, metoda głębokiej kontekstowej reprezentacji słów oparta na dwukierunkowych sieciach LSTM.

Key Concepts

• Osadzenia kontekstowe
• Dwukierunkowa sieć LSTM
• Uczenie wstępne
• Polisemia

Use Cases

• Analiza sentymentu
• Rozpoznawanie encji nazwanych
• Rozwiązywanie współodniesień (coreference resolution)

Related Terms

• Word2Vec (metoda generowania statycznych wektorów słów)
• BERT (model językowy oparty na architekturze Transformer)
• Transformer (architektura modelu oparta na mechanizmie uwagi)
• Modelowanie językowe (przewidywanie kolejnych słów w sekwencji)