ELMo(Embeddings from Language Models)
term_id: elmo
Category: basic_concepts
Definition
ELMo는 대규모 코퍼스에서 훈련된 양방향 LSTM을 통해 입력 텍스트를 처리하여 문맥 민감한 단어 임베딩을 생성합니다. Word2Vec과 같은 정적 임베딩과 달리, ELMo는 단어가 사용되는 문맥에 따라 다른 표현을 생성함으로써 다의성(polysemy) 문제를 해결합니다.
Summary
양방향 LSTM을 사용하여 심층 문맥 기반 단어 표현을 생성하는 임베딩 방법.
Key Concepts
- 문맥 기반 임베딩(Contextual Embeddings)
- 양방향 LSTM(Bidirectional LSTM)
- 사전 훈련(Pre-training)
- 다의성(Polysemy)
Use Cases
- 감성 분석(Sentiment Analysis)
- 고유명사 식별(Named Entity Recognition)
- 코레퍼런스 해결(Coreference Resolution)