لورا (LoRA)

term_id: lora

Category: training_techniques

Definition

تجمّد لورا أوزان النموذج المدربة مسبقاً وتدخل مصفوفات تحلل قابلة للتدريب في كل طبقة من بنية المحول. من خلال تحسين هذه المصفوفات منخفضة الرتبة فقط، تقلل لورا بشكل كبير

Summary

التكيف منخفض الرتبة هو طريقة ضبط دقيق كفؤة من حيث المعلمات تقوم بحقن مصفوفات تحلل الرتبة القابلة للتدريب في أوزان النموذج الموجودة.

Key Concepts

  • الضبط الدقيق الكفء من حيث المعلمات
  • تحلل الرتبة
  • تجميد الأوزان
  • وحدات المحول

Use Cases

  • تخصيص النماذج اللغوية الكبيرة
  • التكيف مع المجال المحدد
  • التدريب مقيد الموارد

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related