Điền vào chỗ trống (Mask)
term_id: fill_mask
Category: basic_concepts
Definition
Fill Mask là một mục tiêu tiền huấn luyện cơ bản được sử dụng trong các mô hình dựa trên kiến trúc Transformer như BERT. Quá trình này bao gồm việc che giấu ngẫu nhiên các token trong một chuỗi văn bản và huấn luyện mô hình dự đoán giá trị gốc của chúng.
Summary
Một nhiệm vụ xử lý ngôn ngữ tự nhiên trong đó mô hình dự đoán các token bị thiếu trong câu dựa trên ngữ cảnh xung quanh.
Key Concepts
- Mô hình hóa ngôn ngữ bị che giấu
- Hiểu biết ngữ cảnh
- Học bán giám sát
- Dự đoán token
Use Cases
- Hoàn thành văn bản
- Gán nhãn vai trò ngữ nghĩa
- Nền tảng tiền huấn luyện