הכשרה מקדימה

term_id: pre_training

Category: training_techniques

Definition

הכשרה מקדימה היא טכניקה יסודית בלמידה עמוקה שבה מודל לומד תכונות ודפוסים רחבים מכמויות עצומות של נתונים, לרוב ללא תוויות. תהליך זה מאפשר למודל לפתח…

Summary

השלב הראשוני של אימון מודל למידת מכונה על ערכת נתונים גדולה ולא מסומנת כדי ללמוד ייצוגים כלליים לפני דיוק (Fine-tuning) למשימות ספציפיות.

Key Concepts

  • למידת העברה
  • חילוץ תכונות
  • נתונים בקנה מידה גדול
  • דיוק (Fine-tuning)

Use Cases

  • אימון מודלי שפה כמו BERT או GPT
  • אתחול רשתות נוירונים קונבולוציוניות (CNNs) עם משקלי ImageNet
  • בניית מודלי יסוד ל-AI רב-מודאלי

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related