Предиктивное обучение
term_id: predictive_learning
Category: training_techniques
Definition
Предиктивное обучение включает в себя обучение нейронных сетей выведению ненаблюдаемых точек данных на основе наблюдаемых входов без явных человеческих меток. Решая такие задачи, как предсказание следующего токена в языке или маскирование частей изображения, модель учится извлекать значимые представления из структуры самих данных.
Summary
Подход с самообучением без учителя, при котором модели учатся представлять данные, предсказывая недостающие части входных данных.
Key Concepts
- Самообучение без учителя
- Маскированное моделирование
- Обучение представлений
- Неразмеченные данные
Use Cases
- Предварительное обучение больших языковых моделей
- Задачи восстановления изображений (inpainting)
- Обнаружение аномалий во временных рядах