Superviseret finjustering

Definition

Superviseret finjustering (SFT) indebærer at tage en stor fortræn model, f.eks. en sprogmodel, og fortsætte dens træning på et mindre, højkvalitets datasæt, der er mærket til en specifik downstream-opgave.

Summary

Processen med yderligere træning af en fortræn model på et specifikt datasæt for at tilpasse den til en bestemt opgave eller domæne.

Key Concepts

• Fortrænet modeller
• Overførselslæring
• Instruktionsjustering
• Domænetilpasning

Use Cases

• Udvikling af skræddersyede chatbots
• Specialiserede medicinske Q&A-systemer
• Assistenter til kodegenerering

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Pre-training (fortræning)
• Reinforcement Learning from Human Feedback (RLHF / Forstærkningslæring fra menneskelig feedback)
• Prompt Engineering (prompt-design)
• LLM (Large Language Model / Stor sprogmodel)