Chưng cất kiến thức

term_id: distillation

Category: training_techniques

Definition

Quá trình này liên quan đến việc chuyển giao kiến thức từ một mạng nơ-ron ‘giáo viên’ phức tạp, hiệu suất cao sang một mạng ‘sinh viên’ đơn giản và hiệu quả hơn. Mô hình sinh viên không chỉ học từ các nhãn cứng (hard labels) mà còn từ các đầu ra mềm (soft outputs) của mô hình giáo viên, giúp nó nắm bắt được thông tin chi tiết về phân phối xác suất của dữ liệu.

Summary

Chưng cất kiến thức là một kỹ thuật nén mô hình, trong đó một mô hình nhỏ hơn (mô hình sinh viên) học cách bắt chước hành vi của một mô hình lớn hơn (mô hình giáo viên).

Key Concepts

  • Kiến trúc Giáo viên-Sinh viên
  • Nhãn mềm (Soft Targets)
  • Nén mô hình
  • Hiệu suất suy luận

Use Cases

  • Triển khai các mô hình ngôn ngữ lớn trên thiết bị di động
  • Giảm độ trễ trong các ứng dụng thị giác máy tính thời gian thực
  • Tối ưu hóa các mô hình học sâu cho môi toán biên (edge computing)

Related