QLoRA
term_id: qlora
Category: training_techniques
Definition
A QLoRA kombinálja az alacsony rangú adaptációt (LoRA) a 4 bites kvantálással, jelentősen csökkentve a hatalmas modellek finomhangolásához szükséges memóriaterületet. A súlyok 4 bites formátumban történő tárolásával és a tr
Summary
Kvantált alacsony rangú adaptáció, egy módszer a nagy nyelvi modellek hatékony finomhangolására 4 bites kvantálás és alacsony rangú adapterek használatával.
Key Concepts
- Alacsony rangú adaptáció
- 4-bites kvantálás
- Memória hatékonyság
- Finomhangolás
Use Cases
- Fogyasztói GPU-kon történő finomhangolás
- Erőforrás-szegény környezetek
- Gyors modell iteráció
Code Example
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)