微调

term_id: fine_tuning

Category: training_techniques

Definition

微调涉及在一个已在大而通用数据集上训练好的模型基础上，继续在专业化数据集上进行训练。这使得模型在保留通用知识的同时，能够习得特定任务的技能。

Summary

使用较小的数据集将预训练模型适配到特定下游任务的过程。

Key Concepts

  • 迁移学习
  • 预训练模型
  • 任务特定适配
  • 学习率

Use Cases

  • 适配大语言模型以构建客户服务聊天机器人
  • 专门化图像分类器用于医疗诊断
  • 定制语音识别以针对特定口音

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related