Finjustering

term_id: fine_tuning

Category: training_techniques

Definition

Finjustering indebærer at tage en model, der allerede er trænet på et stort, generelt datasæt, og yderligere træne den på et specialiseret datasæt. Dette giver modellen mulighed for at bevare almen viden, mens den tilegner sig opgavespecifikke evner.

Summary

Processen med at tilpasse en fortrænet model til en specifik efterfølgende opgave ved hjælp af et mindre datasæt.

Key Concepts

  • Overførselslæring
  • Fortrænet model
  • Opgavespecifik tilpasning
  • Læringsrate

Use Cases

  • Tilpasning af store sprogmodeller til kundeservice-chatbots
  • Specialisering af billedklassificerere til medicinsk diagnostik
  • Tilpasning af talegenkendelse til bestemte accenter

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related