Model Compression

term_id: model_compression

Category: training_techniques

Definition

Kategori ini mencakup metode seperti pemangkasan (pruning), kuantisasi, dan distilasi pengetahuan yang bertujuan memperkecil jejak model sambil mempertahankan kinerja. Hal ini penting untuk menerapkan model AI kompleks

Summary

Kompresi model merujuk pada teknik-teknik yang mengurangi ukuran dan kebutuhan komputasi dari model pembelajaran mesin.

Key Concepts

  • Kuantisasi
  • Pemangkasan
  • Distilasi Pengetahuan
  • Kecepatan Inferensi

Use Cases

  • Menerapkan model pada perangkat seluler
  • Mengurangi biaya inferensi di awan
  • Mempercepat pemrosesan video waktu nyata

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related