Hienosäätö

term_id: fine_tuning

Category: training_techniques

Definition

Hienosäädössä otetaan malli, joka on jo koulutettu suurella yleisellä datamäärällä, ja koulutetaan sitä edelleen erikoistuneemmalla datalla. Tämä mahdollistaa mallin säilyttävän yleisen tietonsa samalla kun se oppii tehtävään liittyviä erityispiirteitä.

Summary

Prosessi, jossa esikoulutettua mallia mukautetaan tiettyyn jälkikäyttötehtävään käyttämällä pienempää datamäärää.

Key Concepts

  • Siirtämisoppiminen
  • Esikoulutettu malli
  • Tehtäväkohtainen mukauttaminen
  • Oppimisaste

Use Cases

  • Suurten kielimallien mukauttaminen asiakaspalvelun chatboteille
  • Kuvaklassifikaattorien erikoistaminen lääketieteelliseen diagnostiikkaan
  • Puheentunnistuksen räätälöinti tiettyjä murteita varten

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related