Học Tự Giám sát (Self-supervised Learning)
term_id: self_supervised_learning
Category: training_techniques
Definition
Học tự giám sát là một kỹ thuật trong đó thuật toán tạo ra tín hiệu giám sát từ chính dữ liệu không gán nhãn, thường bằng cách dự đoán các phần bị thiếu của đầu vào. Nó cầu nối khoảng cách giữa học có giám sát và không giám sát, cho phép tận dụng lượng dữ liệu khổng lồ chưa được gán nhãn.
Summary
Một phương pháp huấn luyện nơi mô hình tự tạo nhãn từ dữ liệu đầu vào để học các biểu diễn.
Key Concepts
- Tiền huấn luyện (Pre-training)
- Mô hình Hóa Ngôn ngữ Bị Lấp (Masked Language Modeling)
- Học Tương phản (Contrastive Learning)
- Học Biểu diễn (Representation Learning)
Use Cases
- Huấn luyện các mô hình ngôn ngữ lớn (LLM)
- Học biểu diễn hình ảnh
- Hệ thống nhận dạng giọng nói
Code Example
| |