Nadzorowane dostrajanie

Definition

Nadzorowane dostrajanie (SFT) polega na przyjęciu dużego modelu wstępnie wytrenowanego, takiego jak model językowy, i kontynuowaniu jego treningu na mniejszym, wysokiej jakości zbiorze danych oznaczonym etykietami dla konkretnego zadania podrzędnego.

Summary

Proces dalszego trenowania modelu wstępnie wytrenowanego na konkretnym zbiorze danych w celu dostosowania go do określonego zadania lub domeny.

Key Concepts

• Modele wstępnie wytrenowane
• Uczenie transferowe
• Dostrajanie instrukcji
• Adaptacja domeny

Use Cases

• Tworzenie niestandardowych chatbotów
• Specjalistyczne systemy pytań i odpowiedzi medycznych
• Asystenci generowania kodu

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Pre-training (trening wstępny)
• Reinforcement Learning from Human Feedback (uczenie przez wzmacnianie z ludzką informacją zwrotną)
• Prompt Engineering (inżynieria promptów)
• LLM (duży model językowy)