Komprese modelu

term_id: model_compression

Category: training_techniques

Definition

Tato kategorie zahrnuje metody jako odstraňování prvků (pruning), kvantizaci a distilaci znalostí, jejichž cílem je zmenšit stopu modelu při zachování výkonu. Je nezbytná pro nasazení složitých modelů AI

Summary

Komprese modelu označuje techniky, které snižují velikost a výpočetní nároky strojových učebních modelů.

Key Concepts

  • Kvantizace
  • Odstraňování prvků (Pruning)
  • Distilace znalostí
  • Rychlost inferenčního běhu

Use Cases

  • Nasazování modelů na mobilní zařízení
  • Snížení nákladů na cloudovou inferenci
  • Zrychlení zpracování videa v reálném čase

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related