Finomhangolás

term_id: fine_tuning

Category: training_techniques

Definition

A finomhangolás magában foglalja egy már nagy, általános adathalmazon tanított modell további tanítását egy specializált adathalmazon. Ez lehetővé teszi, hogy a modell megtartsa az általános tudását, miközben megszerzi a feladatra…

Summary

Az a folyamat, amely során egy előre tanított modellt kisebb adathalmazzal igazítunk egy specifikus feladatra.

Key Concepts

  • Átviteli tanulás
  • Előre tanított modell
  • Feladatspecifikus alkalmazkodás
  • Tanulási ráta

Use Cases

  • LLM-ek alkalmazása ügyfélszolgálati chatbotokhoz
  • Képosztályozók specializálása orvosi diagnosztikára
  • Beszédfelismerő rendszerek testreszabása specifikus akcentusokra

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related