监督微调

term_id: supervised_fine_tuning

Category: training_techniques

Definition

监督微调（SFT）涉及采用大型预训练模型（如语言模型），并在较小的高质量、针对特定下游任务标注的数据集上继续训练该模型。

Summary

在特定数据集上进一步训练预训练模型，使其适应特定任务或领域的过程。

Key Concepts

  • 预训练模型
  • 迁移学习
  • 指令微调
  • 领域适配

Use Cases

  • 定制聊天机器人开发
  • 专业医疗问答系统
  • 代码生成助手

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related