多语义性

term_id: polysemanticity

Category: basic_concepts

Definition

多语义性是深度神经网络(特别是Transformer架构)中的一种特征,即单个神经元可能对几个不相关或语义不同的特征激活做出响应。

Summary

神经网络中的单个神经元对多个不同概念产生响应的现象。

Key Concepts

  • 神经元可解释性
  • 稀疏自编码器
  • 特征解耦
  • Transformer架构

Use Cases

  • 机械可解释性研究
  • 调试模型行为
  • 提高模型的透明度和安全性