QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA, Düşük Ranklı Uyarlamayı (LoRA) 4-bit nicelleme ile birleştirerek devasa modelleri ince ayarlamak için gereken bellek kullanımını önemli ölçüde azaltır. Ağırlıkları 4-bit formatta saklayarak ve üçüncül adaptörler ekleyerek, yüksek bellek gereksinimini minimuma indirir.

Summary

4-bit nicelleme ve düşük ranklı adaptörler kullanarak büyük dil modellerini verimli bir şekilde ince ayar yapmak için kullanılan Nicellenmiş Düşük Ranklı Uyarlamadır.

Key Concepts

  • Düşük Ranklı Uyarlama
  • 4-Bit Nicelleme
  • Bellek Verimliliği
  • İnce Ayar

Use Cases

  • Tüketici GPU’ları ile İnce Ayar
  • Kaynak Kısıtlı Ortamlar
  • Hızlı Model Yinelmesi

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related