LoRA

term_id: lora

Category: training_techniques

Definition

LoRA jäädyttää esikoulutetut mallipainot ja lisää koulutettavia hajauttamismatriiseja jokaiseen transformer-arkkitehtuurin kerrokseen. Optimoiden vain näitä matalan rangin matriiseja, LoRA vähentää merkittävästi

Summary

Matalan rangin adaptointi on parametritehokas hienosäätömenetelmä, joka ruiskuttaa koulutettavia matalan rangin hajauttamismatriiseja olemassa oleviin mallipainoihin.

Key Concepts

  • Parametritehokas hienosäätö
  • Rangin hajauttaminen
  • Painojen jäädyttäminen
  • Sovitinmoduulit

Use Cases

  • Suurten kielimallien mukauttaminen
  • Alakohtainen adaptointi
  • Resurssirajoitteinen koulutus

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related