Überwachtes Feintuning

term_id: supervised_fine_tuning

Category: training_techniques

Definition

Überwachtes Feintuning (SFT) beinhaltet die Verwendung eines großen vortrainierten Modells, wie z. B. eines Sprachmodells, und dessen weiteres Training auf einem kleineren, hochwertigen Datensatz, der für eine bestimmte Downstream-Aufgabe beschriftet ist.

Summary

Der Prozess des weiteren Trainings eines vortrainierten Modells auf einem spezifischen Datensatz, um es an eine bestimmte Aufgabe oder Domäne anzupassen.

Key Concepts

  • Vortrainierte Modelle
  • Transfer Learning (Transferlernen)
  • Instruction Tuning (Anweisungstuning)
  • Domänenanpassung

Use Cases

  • Entwicklung individueller Chatbots
  • Spezialisierte medizinische Frage-Antwort-Systeme
  • Assistenten zur Codegenerierung

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related