Overvåket finjustering

Definition

Overvåket finjustering (SFT) innebærer å ta en stor forhåndstrent modell, som en språkmodell, og fortsette treningen på et mindre, høykvalitets datasett merket for en spesifikk nedstrømsoppgave.

Summary

Prosessen med å trene en forhåndstrent modell videre på et spesifikt datasett for å tilpasse den til en bestemt oppgave eller domene.

Key Concepts

• Forhåndstrente modeller
• Overføring læring
• Instruksjonsjustering
• Domeneadaptasjon

Use Cases

• Utvikling av egendefinerte chatbots
• Spesialiserte medisinske spørsmål-og-svar-systemer
• Assistenter for kodegenerering

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Fortrening (den opprinnelige treningsfasen på store datamengder)
• Forsterkning læring fra menneskelig tilbakemelding (RLHF)
• Prompt-engineering (design av instruksjoner til modellen)
• LLM (Large Language Model / stor språkmodell)