量化

term_id: quantization

Category: training_techniques

Definition

量化将高精度浮点数（如 FP32）转换为低精度格式（如 INT8 或 FP16）。这种转换减少了模型的内存使用和计算需求，从而加速推理过程并降低硬件要求。

Summary

一种模型优化技术，通过降低神经网络计算中数字的精度来减小模型体积并提高速度。

Key Concepts

  • 精度降低
  • 推理速度
  • 内存优化
  • INT8/FP16

Use Cases

  • 边缘设备部署
  • 移动 AI 应用
  • 实时推理

Code Example

1
2
3
4
5
6

import torch.quantization as quant
# Example of converting a model to quantized format
model.eval()
model.qconfig = quant.get_default_qconfig('fbgemm')
quantized_model = quant.prepare(model, inplace=False)
quantized_model = quant.convert(quantized_model, inplace=False)

Related