QLoRA

term_id: qlora

Category: training_techniques

Definition

A QLoRA kombinálja az alacsony rangú adaptációt (LoRA) a 4 bites kvantálással, jelentősen csökkentve a hatalmas modellek finomhangolásához szükséges memóriaterületet. A súlyok 4 bites formátumban történő tárolásával és a tr

Summary

Kvantált alacsony rangú adaptáció, egy módszer a nagy nyelvi modellek hatékony finomhangolására 4 bites kvantálás és alacsony rangú adapterek használatával.

Key Concepts

  • Alacsony rangú adaptáció
  • 4-bites kvantálás
  • Memória hatékonyság
  • Finomhangolás

Use Cases

  • Fogyasztói GPU-kon történő finomhangolás
  • Erőforrás-szegény környezetek
  • Gyors modell iteráció

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related