Sự sụp đổ biểu diễn
term_id: representation_collapse
Category: basic_concepts
Definition
Sự sụp đổ biểu diễn xảy ra khi một mạng nơ-ron, đặc biệt là trong các khung học tương phản tự giám sát, học cách ánh xạ tất cả các điểm dữ liệu đầu vào vào cùng một vectơ đầu ra cố định. Đây là một lời giải tầm thường mà mô hình cần tránh để duy trì tính hữu ích của các đặc trưng học được.
Summary
Một trạng thái thất bại trong học tự giám sát, nơi mô hình đầu ra các biểu diễn giống hệt nhau cho tất cả các đầu vào, làm mất khả năng phân biệt.
Key Concepts
- Học tự giám sát
- Hàm mất mát tương phản
- Lời giải tầm thường
- Học đặc trưng
Use Cases
- Gỡ lỗi các mô hình SimCLR hoặc MoCo
- Cải thiện các hàm mất mát tương phản
- Phân tích sự hội tụ của mô hình