Afinare fină

term_id: fine_tuning

Category: training_techniques

Definition

Afinarea fină implică luarea unui model deja antrenat pe un set de date mare și general, și continuarea antrenamentului acestuia pe un set de date specializat. Acest lucru permite modelului să își păstreze cunoștințele generale în timp ce dobândește abilități specifice sarcinii.

Summary

Procesul de adaptare a unui model pre-antrenat la o sarcină downstream specifică folosind un set de date mai mic.

Key Concepts

  • Învățare prin Transfer
  • Model Pre-antrenat
  • Adaptare Specifică Sarcinii
  • Rata de Învățare

Use Cases

  • Adaptarea modelelor lingvistice mari (LLM) pentru roboți de chat de servicii clienți
  • Specializarea clasificatoarelor de imagini pentru diagnostic medical
  • Personalizarea recunoașterii vorbirii pentru accente specifice

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related