ELMo

term_id: elmo

Category: basic_concepts

Definition

ELMo tạo ra các vector nhúng từ nhạy cảm với ngữ cảnh bằng cách xử lý văn bản đầu vào qua một mạng LSTM hai chiều được huấn luyện trên một tập dữ liệu lớn. Khác với các vector nhúng tĩnh như Word2Vec, ELMo nắm bắt được tính đa nghĩa bằng cách tạo ra các biểu diễn khác nhau cho cùng một từ trong các ngữ cảnh khác nhau.

Summary

Embeddings from Language Models, một phương pháp biểu diễn từ ngữ cảnh hóa sâu sử dụng LSTM hai chiều.

Key Concepts

  • Vector nhúng ngữ cảnh
  • LSTM hai chiều
  • Huấn luyện trước
  • Tính đa nghĩa

Use Cases

  • Phân tích cảm xúc
  • Nhận dạng thực thể có tên
  • Giải quyết tham chiếu lõi

Related