التدريب المسبق

term_id: pre_training

Category: training_techniques

Definition

التدريب المسبق هو تقنية أساسية في التعلم العميق حيث يتعلم النموذج ميزات وأنماطاً واسعة النطاق من كميات هائلة من البيانات، غالباً بدون تسميات. تتيح هذه العملية للنموذج…

Summary

المرحلة الأولية لتدريب نموذج تعلم الآلة على مجموعة بيانات كبيرة وغير موسومة لتعلم تمثيلات عامة قبل الضبط الدقيق لمهام محددة.

Key Concepts

  • التعلم بالنقل
  • استخراج الميزات
  • بيانات واسعة النطاق
  • الضبط الدقيق

Use Cases

  • تدريب نماذج لغوية مثل BERT أو GPT
  • تهيئة الشبكات العصبية التلافيفية (CNNs) بأوزان ImageNet
  • بناء نماذج أساسية للذكاء الاصطناعي متعدد الوسائط

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related