Polisemanticitet
term_id: polysemanticity
Category: basic_concepts
Definition
Polisemanticitet är en egenskap som observeras i djupa neurala nätverk, särskilt i transformatorer, där en enskild neuron kan aktiveras som svar på flera orelaterade eller semantiskt distinkta funktioner.
Summary
Fenomenet där enskilda neuroner i neurala nätverk svarar på flera distinkta begrepp.
Key Concepts
- Neuroninterpretabilitet
- Glesa autoenkodare
- Uppkoppling av funktioner
- Transformatorarkitektur
Use Cases
- Forskning inom mekanistisk interpretabilitet
- Felsökning av modellbeteende
- Förbättring av modelltransparens och säkerhet