迁移学习

term_id: transfer_learning

Category: training_techniques

Definition

迁移学习利用预训练模型来提高在新且相关任务上的性能并减少训练时间。开发人员无需从头开始训练，而是对现有权重进行微调，从而利用先前学到的知识。

Summary

一种机器学习技术，将在一个任务中开发的模型作为第二个任务的模型的起点进行复用。

Key Concepts

  • 预训练模型
  • 微调
  • 领域自适应
  • 特征提取

Use Cases

  • 数据有限的图像分类
  • 针对小众主题的情感分析
  • 医疗诊断辅助

Code Example

1
2

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

Related