BERT

term_id: bert

Category: basic_concepts

Definition

BERT là một kỹ thuật học máy dựa trên kiến trúc Transformer để huấn luyện trước cho xử lý ngôn ngữ tự nhiên (NLP), do Google phát triển. Nó sử dụng mô hình ngôn ngữ bị che giấu (masked language modeling) và dự đoán câu tiếp theo để học các biểu diễn hai chiều (bidirectional representations).

Summary

BERT (Bidirectional Encoder Representations from Transformers) là một mô hình xử lý ngôn ngữ tự nhiên được huấn luyện trước.

Key Concepts

  • Kiến trúc Transformer
  • Mô hình ngôn ngữ bị che giấu
  • Huấn luyện trước
  • Điều chỉnh tinh vi (Fine-tuning)

Use Cases

  • Hệ thống trả lời câu hỏi
  • Phân tích cảm xúc
  • Phân loại văn bản

Related