Destilação
term_id: distillation
Category: training_techniques
Definition
Este processo envolve a transferência de conhecimento de uma rede neural ‘professor’ complexa e de alto desempenho para uma rede ‘aluno’ mais simples e eficiente. O aluno aprende não apenas a partir dos rótulos exatos, mas também das distribuições de probabilidade suaves do professor.
Summary
A destilação de conhecimento é uma técnica de compressão de modelos na qual um modelo menor (aluno) aprende a imitar o comportamento de um modelo maior (professor).
Key Concepts
- Arquitetura Professor-Aluno
- Alvos Suaves (Soft Targets)
- Compressão de Modelo
- Eficiência de Inferência
Use Cases
- Implantação de grandes modelos de linguagem em dispositivos móveis
- Redução de latência em aplicações de visão computacional em tempo real
- Otimização de modelos de aprendizado profundo para ambientes de computação na borda