LoRA
term_id: lora
Category: training_techniques
Definition
A LoRA felfüggeszti (fagyasztja) az előre betanított modell súlyait, és betanítható dekompozíciós mátrixokat helyez el a transzformátor architektúra minden rétegében. Csak ezeknek az alacsony rangú mátrixoknak az optimalizálásával a LoRA jelentősen csökkenti…
Summary
A Low-Rank Adaptation (Alacsony rangú adaptáció) egy paraméter-hatékony finomhangolási módszer, amely betanítható rang-dekompozíciós mátrixokat injektál a meglévő modell súlyokba.
Key Concepts
- Paraméter-hatékony finomhangolás (PEFT)
- Rang-dekompozíció
- Súlyok fagyasztása
- Adapter modulok
Use Cases
- LLM testreszabása
- Domain-specifikus adaptáció
- Erőforrás-korlátozott tanítás
Code Example
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)