Dostrojenie

term_id: fine_tuning

Category: training_techniques

Definition

Dostrojenie polega na wznowieniu treningu modelu, który został już wytrenowany na dużym, ogólnym zbiorze danych, na specjalistycznym zbiorze danych. Pozwala to modelowi zachować ogólną wiedzę, jednocześnie przyswajając wiedzę…

Summary

Proces dostosowania modelu wcześniej wytrenowanego do konkretnego zadania przy użyciu mniejszego zbioru danych.

Key Concepts

  • Uczenie przez przenoszenie
  • Model wcześniej wytrenowany
  • Dostosowanie do konkretnego zadania
  • Szybkość uczenia

Use Cases

  • Dostosowanie dużych modeli językowych (LLM) do chatbustów obsługi klienta
  • Specjalizacja klasyfikatorów obrazów w diagnostyce medycznej
  • Dostosowanie rozpoznawania mowy do konkretnych akcentów

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related