Tính đa nghĩa
term_id: polysemanticity
Category: basic_concepts
Definition
Tính đa nghĩa là một đặc điểm quan sát được trong các mạng nơ-ron sâu, đặc biệt là trong các mô hình Transformer, nơi một nơ-ron đơn lẻ có thể kích hoạt để đáp ứng với nhiều tính năng không liên quan hoặc khác biệt về mặt ngữ nghĩa.
Summary
Hiện tượng mà các nơ-ron riêng lẻ trong mạng nơ-ron phản hồi với nhiều khái niệm khác nhau.
Key Concepts
- Giải thích được nơ-ron (Neuron Interpretability)
- Autoencoder thưa (Sparse Autoencoders)
- Tách biệt đặc trưng (Feature Disentanglement)
- Kiến trúc Transformer
Use Cases
- Nghiên cứu giải thích cơ chế (Mechanistic interpretability)
- Gỡ lỗi hành vi mô hình
- Cải thiện tính minh bạch và an toàn của mô hình