预训练的

Definition

“预训练”一词描述了一个神经网络模型，该模型已在海量且通常通用的数据集（如ImageNet或Wikipedia）上进行了初始训练。这一过程使模型能够学习丰富的通用特征表示，随后可以通过微调适应特定的下游任务。

Summary

指在针对特定任务进行调整之前，已在大规模数据集上完成训练的模型。

Key Concepts

• 迁移学习
• 特征提取
• 基础模型
• 微调

Use Cases

• 初始化BERT或GPT模型
• 使用ResNet进行图像分类
• 特定领域自然语言处理任务的起点

Related Terms

• transfer_learning (迁移学习)
• foundation_models (基础模型)
• fine_tuning (微调)
• feature_extraction (特征提取)