知識蒸留
term_id: distillation
Category: training_techniques
Definition
このプロセスでは、複雑で高性能な「教師」ニューラルネットワークから、より単純で効率的な「学生」ネットワークへ知識を転移させます。学生モデルはハードラベル（正解ラベル）だけでなく、教師モデルの出力分布（ソフトターゲット）からも学習します。これにより、パラメータ数を削減しつつ推論性能を維持・向上させることができます。
Summary
知識蒸留は、大規模な教師モデルの振る舞いを小さな学生モデルが模倣することでモデルを圧縮する技術です。
Key Concepts
- 教師-学生アーキテクチャ
- ソフトターゲット
- モデル圧縮
- 推論効率化
Use Cases
- モバイルデバイスへの大規模言語モデルのデプロイ
- リアルタイムコンピュータビジョンアプリケーションにおけるレイテンシの削減
- エッジコンピューティング環境向けディープラーニングモデルの最適化