Коллапс представлений
term_id: representation_collapse
Category: basic_concepts
Definition
Коллапс представлений возникает, когда нейронная сеть, особенно в рамках контрастивного самоконтролируемого обучения, учится отображать все точки входных данных в один фиксированный выходной вектор. Это тривиальное решение приводит к потере полезной информации о структуре данных.
Summary
Режим отказа в самоконтролируемом обучении, при котором модель выдает идентичные представления для всех входных данных, теряя дискриминационную способность.
Key Concepts
- Самоконтролируемое обучение
- Контрастная потеря
- Тривиальные решения
- Извлечение признаков
Use Cases
- Отладка моделей SimCLR или MoCo
- Улучшение функций контрастной потери
- Анализ сходимости модели