כוונון עדין

term_id: fine_tuning

Category: training_techniques

Definition

כוונון עדין כולל לקיחת מודל שכבר אומן על מערך נתונים גדול וכללי והמשך אימונו על מערך נתונים מיוחד. זה מאפשר למודל לשמור על ידע כללי תוך רכישת יכולת

Summary

תהליך של התאמת מודל מאומן מראש למשימה ספציפית באמצעות מערך נתונים קטן יותר.

Key Concepts

  • למידת העברה
  • מודל מאומן מראש
  • התאמה ספציפית למשימה
  • קצב למידה

Use Cases

  • התאמת מודלי שפה גדולים (LLMs) לצ’אטבוטים לשירות לקוחות
  • התמחות של מסווגי תמונות לאבחון רפואי
  • התאמה אישית של זיהוי דיבור לניבים ספציפיים

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related