Bilgi Süzme
term_id: distillation
Category: training_techniques
Definition
Bu süreç, karmaşık ve yüksek performanslı bir ‘öğretmen’ sinir ağından daha basit ve verimli bir ‘öğrenci’ ağına bilgi aktarımını içerir. Öğrenci, yalnızca kesin etiketlerden değil, aynı zamanda öğretmenin olasılık dağılımlarından da öğrenir.
Summary
Bilgi süzme, daha küçük bir öğrenci modelinin daha büyük bir öğretmen modeli davranışını taklit ederek öğrenmesini sağlayan bir model sıkıştırma tekniğidir.
Key Concepts
- Öğretmen-Öğrenci Mimarisi
- Yumuşak Hedefler
- Model Sıkıştırma
- Çıkarım Verimliliği
Use Cases
- Mobil cihazlarda büyük dil modellerinin dağıtılması
- Gerçek zamanlı bilgisayarlı görü uygulamalarında gecikmenin azaltılması
- Derin öğrenme modellerinin kenar hesaplama ortamları için optimize edilmesi