LoRA

term_id: lora

Category: training_techniques

Definition

LoRA zamrazí předtrénované váhy modelu a vloží trainovatelné matice rozkladu do každé vrstvy architektury transformátoru. Optimalizací pouze těchto matic nízkého řádu LoRA významně snižuje

Summary

Nízkorangová adaptace je metoda jemného doladění efektivního z hlediska parametrů, která vkládá trainovatelné matice rozkladu nízkého řádu do existujících vah modelu.

Key Concepts

  • Jemné doladění efektivní z hlediska parametrů (PEFT)
  • Rozklad řádu
  • Zamrazení vah
  • Adaptérní moduly

Use Cases

  • Přizpůsobování LLM
  • Doménově specifická adaptace
  • Trénování s omezenými zdroji

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related