التكميم

term_id: quantization

Category: training_techniques

Definition

يحول التكميم الأعداد ذات الدقة العالية (مثل FP32) إلى تنسيقات أقل دقة (مثل INT8 أو FP16). يقلل هذا الانخفاض من استخدام الذاكرة والمتطلبات الحسابية للنموذج، مما يجعله أسرع وأكثر كفاءة في النشر على الأجهزة المحدودة الموارد مثل الهواتف الذكية والأجهزة الطرفية.

Summary

تقنية تحسين النموذج التي تقلل من دقة الأرقام المستخدمة في حسابات الشبكات العصبية لتقليل الحجم وتحسين السرعة.

Key Concepts

  • تقليل الدقة
  • سرعة الاستدلال
  • تحسين الذاكرة
  • INT8/FP16

Use Cases

  • نشر الأجهزة الطرفية
  • تطبيقات الذكاء الاصطناعي المحمولة
  • الاستدلال في الوقت الفعلي

Code Example

1
2
3
4
5
6

import torch.quantization as quant
# Example of converting a model to quantized format
model.eval()
model.qconfig = quant.get_default_qconfig('fbgemm')
quantized_model = quant.prepare(model, inplace=False)
quantized_model = quant.convert(quantized_model, inplace=False)

Related