Самоконтролируемое обучение
term_id: self_supervised_learning
Category: training_techniques
Definition
Самоконтролируемое обучение — это техника, при которой алгоритм создает сигналы обучения непосредственно из размеченных данных, обычно предсказывая отсутствующие части входа. Этот подход заполняет пробел между обучением без учителя и обучением с учителем, позволяя эффективно использовать огромные объемы неразмеченных данных.
Summary
Метод обучения, при котором модель генерирует собственные метки из входных данных для изучения представлений.
Key Concepts
- Предобучение (Pre-training)
- Моделирование языка с маскированием (Masked Language Modeling)
- Контрастивное обучение (Contrastive Learning)
- Обучение представлений (Representation Learning)
Use Cases
- Обучение больших языковых моделей
- Изучение представлений изображений
- Системы распознавания речи
Code Example
| |