LoRA
term_id: lora
Category: training_techniques
Definition
LoRA jäädyttää esikoulutetut mallipainot ja lisää koulutettavia hajauttamismatriiseja jokaiseen transformer-arkkitehtuurin kerrokseen. Optimoiden vain näitä matalan rangin matriiseja, LoRA vähentää merkittävästi
Summary
Matalan rangin adaptointi on parametritehokas hienosäätömenetelmä, joka ruiskuttaa koulutettavia matalan rangin hajauttamismatriiseja olemassa oleviin mallipainoihin.
Key Concepts
- Parametritehokas hienosäätö
- Rangin hajauttaminen
- Painojen jäädyttäminen
- Sovitinmoduulit
Use Cases
- Suurten kielimallien mukauttaminen
- Alakohtainen adaptointi
- Resurssirajoitteinen koulutus
Code Example
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)