Poly-sémantique
term_id: polysemanticity
Category: basic_concepts
Definition
La poly-sémantique est une caractéristique observée dans les réseaux neuronaux profonds, en particulier dans les transformateurs, où un seul neurone peut s’activer en réponse à plusieurs fonctionnalités non liées ou sémantiquement distinctes.
Summary
Le phénomène selon lequel des neurones individuels dans les réseaux neuronaux répondent à plusieurs concepts distincts.
Key Concepts
- Interprétabilité des neurones
- Autoencodeurs clairsemés
- Démêlage des fonctionnalités
- Architecture Transformer
Use Cases
- Recherche en interprétabilité mécaniste
- Débogage du comportement des modèles
- Amélioration de la transparence et de la sécurité des modèles