Polysemanttisuus
term_id: polysemanticity
Category: basic_concepts
Definition
Polysemanttisuus on syvien neuronaaliverkkojen, erityisesti transformer-mallien, ominaisuus, jossa yksi neuroni voi aktivoitua useiden eri tai semanttisesti erilaisten piirteiden läsnä ollessa.
Summary
Ilmiö, jossa yksittäiset neuronit neuronaalisissa verkoissa reagoivat useisiin eri käsitteisiin.
Key Concepts
- Neuronien tulkittavuus
- Hajautetut autoenkooderit
- Piirteiden erottelu
- Transformer-arkkitehtuuri
Use Cases
- Mekaanisen tulkittavuuden (mechanistic interpretability) tutkimus
- Mallin käyttäytymisen vianetsintä
- Mallin läpinäkyvyyden ja turvallisuuden parantaminen