Finjustering

term_id: fine_tuning

Category: training_techniques

Definition

Finjustering innebär att ta en modell som redan är tränad på en stor, allmän datamängd och ytterligare träna den på en specialiserad datamängd. Detta gör att modellen behåller allmän kunskap samtidigt som den förvärvar uppgiftsspecifik expertis.

Summary

Processen att anpassa en förtränad modell till en specifik efterföljande uppgift med hjälp av ett mindre datamängd.

Key Concepts

  • Överföringsinlärning
  • Förtränad modell
  • Uppgiftsspecifik anpassning
  • Inlärningshastighet

Use Cases

  • Anpassning av stora språkmodeller för kundtjänstchattbottar
  • Specialisering av bildklassificerare för medicinsk diagnostik
  • Anpassning av taligenkänning för specifika dialekter

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related