Супервизированное дообучение

term_id: supervised_fine_tuning

Category: training_techniques

Definition

Супервизированное дообучение (SFT) предполагает взятие большой предварительно обученной модели (например, языковой модели) и продолжение ее обучения на меньшем, высококачественном наборе данных, размеченном для конкретной целевой задачи.

Summary

Процесс дополнительной тренировки предварительно обученной модели на конкретном наборе данных для адаптации ее к определенной задаче или предметной области.

Key Concepts

  • Предварительно обученные модели
  • Перенос обучения
  • Настройка по инструкциям
  • Адаптация к предметной области

Use Cases

  • Разработка пользовательских чат-ботов
  • Специализированные системы медицинского问答 (вопрос-ответ)
  • Ассистенты для генерации кода

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related