Fine-tuning

Definition

Fine-tuning houdt in dat een model dat al is getraind op een grote, algemene dataset, verder wordt getraind op een gespecialiseerde dataset. Hierdoor behoudt het model algemene kennis terwijl het zich

Summary

Het proces waarbij een vooraf getraind model wordt aangepast aan een specifieke taak met behulp van een kleinere dataset.

Key Concepts

• Transferleren
• Vooraf getraind model
• Taakspecifieke aanpassing
• Leersnelheid

Use Cases

• Aanpassen van grote taalmodellen (LLM’s) voor klantenservice-chatbots
• Specialiseren van beeldclassificators voor medische diagnostiek
• Op maat maken van spraakherkenning voor specifieke accenten

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related Terms

• Pre-training (voorafgaande algemene training)
• Prompt engineering (het ontwerpen van invoeropdrachten)
• LoRA (Low-Rank Adaptation, een efficiënte fine-tuningmethode)
• Supervised learning (leren met gelabelde data)