Finjustering

term_id: fine_tuning

Category: training_techniques

Definition

Finjustering innebærer å ta en modell som allerede er trent på et stort, generelt datasett, og videre trene den på et spesialisert datasett. Dette lar modellen beholde generell kunnskap samtidig som den tilegner seg oppgavespesifikke ferdigheter.

Summary

Prosessen med å tilpasse en forhåndstrent modell til en spesifikk etterfølgende oppgave ved hjelp av et mindre datasett.

Key Concepts

  • Overføringslæring
  • Forhåndstrent modell
  • Oppgavespesifikk tilpasning
  • Læringsrate

Use Cases

  • Tilpasning av store språkmodeller (LLM) for kundeserviceroboter
  • Spesialisering av bildeklassifiserere for medisinsk diagnostikk
  • Tilpasset talegjenkjenning for spesifikke aksenter

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related