Knowledge Distillation

term_id: knowledge_distillation

Category: training_techniques

Definition

Knowledge Distillation là một phương pháp học máy dùng để nén một mạng nơ-ron lớn, phức tạp (mô hình giáo viên) thành một mạng nhỏ gọn, hiệu quả hơn (mô hình sinh viên). Mô hình sinh viên được huấn luyện để

Summary

Knowledge Distillation (Chưng cất tri thức) là một kỹ thuật nén mô hình, trong đó một mô hình nhỏ hơn (sinh viên) học cách bắt chước hành vi của một mô hình lớn hơn (giáo viên).

Key Concepts

  • Mô hình Giáo viên-Sinh viên
  • Nén mô hình
  • Nhãn mềm (Soft Targets)
  • Hiệu quả

Use Cases

  • Triển khai mô hình trên thiết bị biên
  • Giảm độ trễ suy luận
  • Giảm chi phí điện toán đám mây

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import torch
import torch.nn as nn

def distillation_loss(student_logits, teacher_logits, temperature=2.0):
    T = temperature
    student_probs = nn.functional.softmax(student_logits / T, dim=1)
    teacher_probs = nn.functional.softmax(teacher_logits / T, dim=1)
    return nn.functional.kl_div(
        nn.functional.log_softmax(student_logits / T, dim=1),
        teacher_probs,
        reduction='batchmean'
    ) * (T * T)

Related