Colapso de Representação
term_id: representation_collapse
Category: basic_concepts
Definition
O colapso de representação ocorre quando uma rede neural, particularmente em estruturas de aprendizado contrastivo auto-supervisionado, aprende a mapear todos os pontos de dados de entrada para o mesmo vetor de saída fixo. Essa solução trivial elimina a utilidade das representações aprendidas, pois elas não conseguem distinguir entre diferentes amostras de dados.
Summary
Um modo de falha no aprendizado auto-supervisionado onde o modelo produz representações idênticas para todas as entradas, perdendo poder discriminativo.
Key Concepts
- Aprendizado Auto-supervisionado
- Perda Contrastiva
- Soluções Triviais
- Aprendizado de Características
Use Cases
- Depuração de modelos SimCLR ou MoCo
- Melhoria de Funções de Perda Contrastiva
- Análise de Convergência do Modelo