LoRA

term_id: lora

Category: training_techniques

Definition

LoRA מקפיאה את משקלי המודל המאומנים מראש ומכניסה מטריצות פירוק ניתנות לאימון לכל שכבה בארכיטקטורת הטרנספורמר. על ידי אופטימיזציה רק של מטריצות הדרגה הנמוכה הללו, LoRA מפחיתה משמעותית

Summary

הסתגלות דרגה נמוכה היא שיטת עיבוד עדין חסכונית בפרמטרים המחדירה מטריצות פירוק דרגה ניתנות לאימון לתוך משקלי המודל הקיימים.

Key Concepts

  • עיבוד עדין חסכוני בפרמטרים
  • פירוק דרגה
  • הקפאת משקלים
  • מודולי מתאם

Use Cases

  • התאמה אישית של מודלי שפה גדולים
  • התאמה לדומיין ספציפי
  • אימון עם משאבים מוגבלים

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related