Dohlazení se supervizí

Definition

Dohlazení se supervizí (SFT) zahrnuje vzít velký předtrénovaný model, například jazykový model, a pokračovat v jeho tréninku na menší, kvalitní sadě dat označené pro konkrétní úkol.

Summary

Proces dalšího trénování předtrénovaného modelu na specifické sadě dat, aby byl přizpůsoben pro konkrétní úkol nebo doménu.

Key Concepts

• Předtrénované modely
• Přenosové učení
• Učení z instrukcí
• Adaptace domény

Use Cases

• Vývoj vlastních chatbotů
• Specializované systémy pro lékařské dotazy
• Asistenti pro generování kódu

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Pre-training (předtrénování)
• Reinforcement Learning from Human Feedback (učení posilováním z lidské zpětné vazby)
• Prompt Engineering (inženýrství podnětů)
• LLM (velký jazykový model)