Modellkompresszió

term_id: model_compression

Category: training_techniques

Definition

Ebbe a kategóriába tartoznak a metódusok, mint például a levágás (pruning), kvantálás és tudásdištiláció, amelyek célja a modell helyigényének csökkentése a teljesítmény megőrzése mellett. Elengedhetetlen a komplex AI modellek telepítéséhez

Summary

A modellkompresszió olyan technikák összessége, amelyek csökkentik a gépi tanulási modellek méretét és számítási igényeit.

Key Concepts

  • Kvantálás
  • Levágás (Pruning)
  • Tudásdištiláció
  • Inferencia sebesség

Use Cases

  • Modellek telepítése mobil eszközökre
  • Felhő alapú inferencia költségeinek csökkentése
  • Valós idejű videófeldolgozás gyorsítása

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related