Doladění (Fine-tuning)

term_id: fine_tuning

Category: training_techniques

Definition

Doladění zahrnuje vzít model již trénovaný na velké, obecné datové sadě a dále ho trénovat na specializované datové sadě. To umožňuje modelu zachovat obecné znalosti, zatímco získává specifické dovednosti pro daný úkol bez nutnosti trénování od nuly.

Summary

Proces přizpůsobení předtrénovaného modelu konkrétnímu úkolu pomocí menší datové sady.

Key Concepts

  • Přenosné učení (Transfer Learning)
  • Předtrénovaný model
  • Adaptace pro konkrétní úkol
  • Rychlost učení (Learning Rate)

Use Cases

  • Přizpůsobení velkých jazykových modelů pro zákaznické chatboty
  • Specializace klasifikátorů obrázků pro lékařskou diagnostiku
  • Přizpůsobení rozpoznávání řeči pro specifické přízvuky

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related