Affinage

term_id: fine_tuning

Category: training_techniques

Definition

L’affinage consiste à prendre un modèle déjà entraîné sur un grand ensemble de données général et à l’entraîner davantage sur un ensemble de données spécialisé. Cela permet au modèle de conserver ses connaissances générales tout en acquérant des compétences spécifiques à la tâche…

Summary

Le processus d’adaptation d’un modèle pré-entraîné à une tâche spécifique en aval à l’aide d’un ensemble de données plus petit.

Key Concepts

  • Apprentissage par transfert
  • Modèle pré-entraîné
  • Adaptation spécifique à la tâche
  • Taux d’apprentissage

Use Cases

  • Adapter les grands modèles de langage (LLM) pour des chatbots de service client
  • Spécialiser les classificateurs d’images pour le diagnostic médical
  • Personnaliser la reconnaissance vocale pour des accents spécifiques

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related