LoRA

term_id: lora

Category: training_techniques

Definition

LoRA membekukan bobot model pra-dilatih dan menyisipkan matriks dekomposisi yang dapat dilatih ke setiap lapisan arsitektur Transformer. Dengan mengoptimalkan hanya matriks rank rendah ini, LoRA secara signifikan mengurangi

Summary

Adaptasi Rank Rendah adalah metode penyetelan halus yang efisien terhadap parameter yang menyuntikkan matriks dekomposisi rank yang dapat dilatih ke dalam bobot model yang ada.

Key Concepts

  • Penyetelan Halus Efisien Parameter
  • Dekomposisi Rank
  • Pembekuan Bobot
  • Modul Adapter

Use Cases

  • Kustomisasi LLM
  • Adaptasi Spesifik Domain
  • Pelatihan dengan Keterbatasan Sumber Daya

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related