Affinamento

term_id: fine_tuning

Category: training_techniques

Definition

L’affinamento consiste nel prendere un modello già addestrato su un grande dataset generale e addestrarlo ulteriormente su un dataset specializzato. Ciò consente al modello di mantenere le conoscenze generali acquisendo competenze specifiche per il

Summary

Il processo di adattamento di un modello pre-addestrato a un compito specifico utilizzando un dataset più piccolo.

Key Concepts

  • Apprendimento per Trasferimento
  • Modello Pre-addestrato
  • Adattamento Specifico al Compito
  • Tasso di Apprendimento

Use Cases

  • Adattamento di LLM per chatbot di assistenza clienti
  • Specializzazione di classificatori di immagini per diagnosi mediche
  • Personalizzazione del riconoscimento vocale per accenti specifici

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related