tự giám sát
term_id: self_supervised
Category: training_techniques
Definition
Học tự giám sát là một tập con của học máy, trong đó tín hiệu giám sát được tự động trích xuất từ chính dữ liệu, loại bỏ nhu cầu gán nhãn thủ công tốn kém. Mô hình thường giải quyết các nhiệm vụ phụ trợ (pretext tasks) như dự đoán phần bị thiếu trong dữ liệu, từ đó học được các đặc trưng hữu ích có thể được chuyển giao cho các nhiệm vụ học có giám sát hoặc không giám sát khác.
Summary
Học tự giám sát là một kỹ thuật nơi mô hình tự tạo nhãn từ dữ liệu đầu vào để học các biểu diễn mà không cần chú thích thủ công bởi con người.
Key Concepts
- Nhiệm vụ phụ trợ
- Mô hình hóa bị ẩn
- Dữ liệu chưa gán nhãn
- Học biểu diễn
Use Cases
- Huấn luyện BERT thông qua mô hình hóa ngôn ngữ bị ẩn
- Học tương phản cho embedding hình ảnh
- Dự đoán token tiếp theo trong các mô hình ngôn ngữ lớn