самоконтролируемое обучение
term_id: self_supervised
Category: training_techniques
Definition
Самоконтролируемое обучение — это подраздел машинного обучения, в котором сигнал обучения автоматически извлекается из самих данных, что устраняет необходимость в ручной разметке. Модель обычно решает заранее определенные «подставные» задачи (pretext tasks), такие как предсказание следующего слова в предложении или восстановление скрытых частей изображения. Этот подход позволяет эффективно использовать огромные объемы неразмеченных данных для создания качественных векторных представлений (эмбеддингов), которые затем можно использовать для решения других задач.
Summary
Самоконтролируемое обучение — это техника, при которой модель самостоятельно генерирует метки из входных данных для обучения представлений без ручной аннотации человеком.
Key Concepts
- Подставные задачи (Pretext Tasks)
- Маскированное моделирование
- Неразмеченные данные
- Обучение представлений
Use Cases
- Обучение BERT через маскированное языковое моделирование
- Контрасттивное обучение для получения эмбеддингов изображений
- Предсказание следующих токенов в больших языковых моделях