Övervakad finjustering

term_id: supervised_fine_tuning

Category: training_techniques

Definition

Övervakad finjustering (SFT) innebär att ta en stor förtränad modell, till exempel en språkmodell, och fortsätta dess träning på ett mindre, högkvalitativt dataset som är märkt för en specifik nedströmsuppgift.

Summary

Processen att ytterligare träna en förtränad modell på ett specifikt dataset för att anpassa den till en viss uppgift eller domän.

Key Concepts

  • Förtränade modeller
  • Överföringsinlärning
  • Instruktionstuning
  • Domänanpassning

Use Cases

  • Utveckling av anpassade chattbotar
  • Specialiserade medicinska frågesystem
  • Assistenter för kodgenerering

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related