LoRA

term_id: lora

Category: training_techniques

Definition

A LoRA felfüggeszti (fagyasztja) az előre betanított modell súlyait, és betanítható dekompozíciós mátrixokat helyez el a transzformátor architektúra minden rétegében. Csak ezeknek az alacsony rangú mátrixoknak az optimalizálásával a LoRA jelentősen csökkenti…

Summary

A Low-Rank Adaptation (Alacsony rangú adaptáció) egy paraméter-hatékony finomhangolási módszer, amely betanítható rang-dekompozíciós mátrixokat injektál a meglévő modell súlyokba.

Key Concepts

  • Paraméter-hatékony finomhangolás (PEFT)
  • Rang-dekompozíció
  • Súlyok fagyasztása
  • Adapter modulok

Use Cases

  • LLM testreszabása
  • Domain-specifikus adaptáció
  • Erőforrás-korlátozott tanítás

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related