Affinamento
term_id: fine_tuning
Category: training_techniques
Definition
L’affinamento consiste nel prendere un modello già addestrato su un grande dataset generale e addestrarlo ulteriormente su un dataset specializzato. Ciò consente al modello di mantenere le conoscenze generali acquisendo competenze specifiche per il
Summary
Il processo di adattamento di un modello pre-addestrato a un compito specifico utilizzando un dataset più piccolo.
Key Concepts
- Apprendimento per Trasferimento
- Modello Pre-addestrato
- Adattamento Specifico al Compito
- Tasso di Apprendimento
Use Cases
- Adattamento di LLM per chatbot di assistenza clienti
- Specializzazione di classificatori di immagini per diagnosi mediche
- Personalizzazione del riconoscimento vocale per accenti specifici
Code Example
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
param.requires_grad = False
# Train only classification head