QLoRA

term_id: qlora

Category: training_techniques

Definition

يجمع QLoRA بين التكيف منخفض الرتبة (LoRA) والتكميم بدقة 4 بت لتقليل البصمة الذاكرة المطلوبة لضبط النماذج الضخمة. من خلال تخزين الأوزان بتنسيق 4 بت وإضافة مُكيّفات صغيرة قابلة للتدريب، يتيح QLoRA ضبط النماذج الكبيرة على أجهزة استهلاكية ذات موارد محدودة دون التضحية بالدقة بشكل كبير.

Summary

التكيف منخفض الرتبة المُكمَّم، وهي طريقة لضبط نماذج اللغات الكبيرة بدقة وكفاءة باستخدام التكميم الرباعي البت (4-bit) والمُكيّفات منخفضة الرتبة.

Key Concepts

  • التكيف منخفض الرتبة
  • التكميم بدقة 4 بت
  • كفاءة الذاكرة
  • الضبط الدقيق

Use Cases

  • الضبط الدقيق على وحدات معالجة الرسومات الاستهلاكية
  • البيئات المقيدة الموارد
  • التكرار السريع للنماذج

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related