דקדוק פיקוח

term_id: supervised_fine_tuning

Category: training_techniques

Definition

דקדוק פיקוח (SFT) כולל לקיחת מודל גדול מוכן מראש, כגון מודל שפה, והמשך האימון שלו על ערכת נתונים קטנה ואיכותית יותר, המסומנת עבור משימת יעד ספציפית.

Summary

תהליך של אימון נוסף של מודל מוכן מראש על ערכת נתונים ספציפית כדי להתאימו למשימה או לתחום מסוים.

Key Concepts

מודלים מוכנים מראש
למידת העברה
כוונון הוראות
התאמת תחום

Use Cases

פיתוח בוטים מותאמים אישית
מערכות שאלות ותשובות רפואיות מתמחות
עוזרי יצירת קוד

Code Example

1
2
3
4
5
6
7
model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()