Polisemantik
term_id: polysemanticity
Category: basic_concepts
Definition
Polisemantik adalah karakteristik yang diamati dalam jaringan saraf dalam, khususnya pada arsitektur transformer, di mana satu neuron dapat aktif sebagai respons terhadap beberapa fitur yang tidak terkait atau memiliki makna semantik yang berbeda.
Summary
Fenomena di mana neuron individu dalam jaringan saraf merespons beberapa konsep yang berbeda.
Key Concepts
- Interpretabilitas Neuron
- Autoencoder Sparse
- Pemisahan Fitur
- Arsitektur Transformer
Use Cases
- Riset interpretabilitas mekanistik
- Debugging perilaku model
- Meningkatkan transparansi dan keamanan model