لورا (LoRA)
term_id: lora
Category: training_techniques
Definition
تجمّد لورا أوزان النموذج المدربة مسبقاً وتدخل مصفوفات تحلل قابلة للتدريب في كل طبقة من بنية المحول. من خلال تحسين هذه المصفوفات منخفضة الرتبة فقط، تقلل لورا بشكل كبير
Summary
التكيف منخفض الرتبة هو طريقة ضبط دقيق كفؤة من حيث المعلمات تقوم بحقن مصفوفات تحلل الرتبة القابلة للتدريب في أوزان النموذج الموجودة.
Key Concepts
- الضبط الدقيق الكفء من حيث المعلمات
- تحلل الرتبة
- تجميد الأوزان
- وحدات المحول
Use Cases
- تخصيص النماذج اللغوية الكبيرة
- التكيف مع المجال المحدد
- التدريب مقيد الموارد
Code Example
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)