LoRA

term_id: lora

Category: training_techniques

Definition

LoRA, önceden eğitilmiş model ağırlıklarını dondurur ve Dönüştürücü mimarisinin her katmanına eğitilebilir ayrışım matrisleri ekler. Yalnızca bu düşük sıralı matrislerin optimize edilmesiyle LoRA, önemli ölçüde azaltır

Summary

Düşük Sıralı Uyarlanım, mevcut model ağırlıklarına eğitilebilir düşük sıralı ayrışım matrisleri enjekte eden, parametre verimliliğine odaklanan ince ayar yöntemidir.

Key Concepts

  • Parametre Verimli İnce Ayar
  • Sıralı Ayrışım
  • Ağırlıkları Dondurma
  • Adaptör Modülleri

Use Cases

  • LLM’leri Özelleştirme
  • Alana Özgü Uyarlanım
  • Kaynak Kısıtlı Eğitim

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related