预训练

term_id: pre_training

Category: training_techniques

Definition

预训练是深度学习中的一种基础技术，模型从海量数据中学习广泛的特征和模式，通常无需标签。这一过程使模型能够发展出通用的知识表示，从而在后续针对特定下游任务进行微调时，仅需少量数据即可达到高性能。

Summary

在大型未标记数据集上训练机器学习模型的初始阶段，以便在针对特定任务进行微调之前学习通用表示。

Key Concepts

  • 迁移学习
  • 特征提取
  • 大规模数据
  • 微调

Use Cases

  • 训练BERT或GPT等语言模型
  • 使用ImageNet权重初始化卷积神经网络（CNN）
  • 构建多模态AI的基础模型

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related