Supervised Fine-tuning

term_id: supervised_fine_tuning

Category: training_techniques

Definition

Supervised Fine-tuning (SFT) houdt in dat een groot vooraf getraind model, zoals een taalmodel, wordt genomen en de training wordt voortgezet op een kleinere, hoogwaardige dataset die gelabeld is voor een specifieke downstream-taak.

Summary

Het proces van het verder trainen van een vooraf getraind model op een specifieke dataset om het aan te passen aan een bepaalde taak of domein.

Key Concepts

  • Vooraf getrainde Modellen
  • Transfer Learning (transferleren)
  • Instruction Tuning (instructietuning)
  • Domeinadaptatie

Use Cases

  • Ontwikkeling van aangepaste chatbots
  • Gespecialiseerde medische Q&A-systemen
  • Assistenten voor codegeneratie

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related