Penalaan Halus

term_id: fine_tuning

Category: training_techniques

Definition

Penalaan halus melibatkan pengambilan model yang sudah dilatih pada dataset umum yang besar dan melatihnya lebih lanjut pada dataset khusus. Hal ini memungkinkan model untuk mempertahankan pengetahuan umum sambil memperoleh kemampuan tugas

Summary

Proses menyesuaikan model yang telah dilatih sebelumnya untuk tugas turunan tertentu menggunakan dataset yang lebih kecil.

Key Concepts

  • Pembelajaran Transfer
  • Model Pra-dilatih
  • Adaptasi Spesifik-Tugas
  • Laju Pembelajaran

Use Cases

  • Menyesuaikan LLM untuk chatbot layanan pelanggan
  • Mengkhususkan klasifikasi gambar untuk diagnostik medis
  • Menyesuaikan pengenalan suara untuk aksen tertentu

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related