モデル圧縮

term_id: model_compression

Category: training_techniques

Definition

このカテゴリには、パフォーマンスを維持しつつモデルのフットプリントを縮小することを目指した、プルーニング、量子化、知識蒸留などの手法が含まれます。これは複雑なAIモデルを展開するために不可欠です

Summary

モデル圧縮とは、機械学習モデルのサイズと計算要件を削減する技術を指します。

Key Concepts

  • 量子化
  • プルーニング
  • 知識蒸留
  • 推論速度

Use Cases

  • モバイルデバイスへのモデル展開
  • クラウド推論コストの削減
  • リアルタイムビデオ処理の加速

Code Example

1
2
import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)