Сжатие моделей

term_id: model_compression

Category: training_techniques

Definition

Этот класс включает такие методы, как прунинг (обрезка), квантование и дистилляция знаний, направленные на сокращение размера модели при сохранении производительности. Это необходимо для развертывания сложных моделей ИИ

Summary

Сжатие моделей относится к методам, направленным на уменьшение размера и вычислительных требований машинного обучения.

Key Concepts

  • Квантование
  • Прунинг (обрезка)
  • Дистилляция знаний
  • Скорость вывода

Use Cases

  • Развертывание моделей на мобильных устройствах
  • Снижение затрат на облачный вывод
  • Ускорение обработки видео в реальном времени

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related