QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA yhdistää matalan rangin adaptoinnin (LoRA) 4-bittiseen kvantitointiin vähentääkseen merkittävästi valtavia malleja hienosäädettäessä tarvittavaa muistinkäyttöä. Tallentamalla painot 4-bittisessä muodossa ja lisäämällä…

Summary

Kvantitettu matalan rangin adaptointi, menetelmä suurten kielimallien tehokkaaseen hienosäätöön käyttäen 4-bittistä kvantitointia ja matalan rangin adaptereita.

Key Concepts

  • Matalan rangin adaptointi
  • 4-bittinen kvantitointi
  • Muistitehokkuus
  • Hienosäätö

Use Cases

  • Kuluttajien GPU-hienosäätö
  • Resurssirajoitteiset ympäristöt
  • Nopeat mallin iteroinnit

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related