Polysemanticita
term_id: polysemanticity
Category: basic_concepts
Definition
Polysemanticita je charakteristika pozorovaná v hlubokých neuronových sítích, zejména v transformátorech, kde může jeden neuron aktivovat v reakci na několik nesouvisejících nebo sémanticky odlišných funkc
Summary
Jev, kdy jednotlivé neurony v neuronových sítích reagují na více různých konceptů.
Key Concepts
- Interpretovatelnost neuronů
- Řídké autoenkodéry
- Oddělování funkcí
- Architektura transformátoru
Use Cases
- Výzkum mechanistické interpretovatelnosti
- Ladění chování modelu
- Zlepšení transparentnosti a bezpečnosti modelu