QLoRA
term_id: qlora
Category: training_techniques
Definition
QLoRA yhdistää matalan rangin adaptoinnin (LoRA) 4-bittiseen kvantitointiin vähentääkseen merkittävästi valtavia malleja hienosäädettäessä tarvittavaa muistinkäyttöä. Tallentamalla painot 4-bittisessä muodossa ja lisäämällä…
Summary
Kvantitettu matalan rangin adaptointi, menetelmä suurten kielimallien tehokkaaseen hienosäätöön käyttäen 4-bittistä kvantitointia ja matalan rangin adaptereita.
Key Concepts
- Matalan rangin adaptointi
- 4-bittinen kvantitointi
- Muistitehokkuus
- Hienosäätö
Use Cases
- Kuluttajien GPU-hienosäätö
- Resurssirajoitteiset ympäristöt
- Nopeat mallin iteroinnit
Code Example
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)