QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA משלבת התאמה מדורגת נמוכה (LoRA) עם קוונטיזציה ל-4 סיביות כדי להפחיש משמעותית את נפח הזיכרון הנדרש לכוונון עדין של מודלים ענקיים. על ידי אחסון המשקלים בפורמט 4 סיביות והוספת מתאמים קטנים.

Summary

התאמה מדורגת נמוכה מקוונטזת (Quantized Low-Rank Adaptation), שיטה לכוונון עדין יעיל של מודלי שפה גדולים באמצעות קוונטיזציה ל-4 סיביות ומתאמים מדורגים נמוכים.

Key Concepts

  • התאמה מדורגת נמוכה
  • קוונטיזציה ל-4 סיביות
  • יעילות זיכרון
  • כוונון עדין

Use Cases

  • כוונון עדין עם כרטיסי מסך צרכניים
  • סביבות עם משאבים מוגבלים
  • איטרציה מהירה של מודלים

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related