LoRA

term_id: lora

Category: training_techniques

Definition

LoRA fryser forhåndstrengte modellvekter og setter inn trenbare dekomponeringsmatriser i hvert lag av transformer-arkitekturen. Ved å optimalisere kun disse lav-rang matrisene, reduserer LoRA betydelig

Summary

Low-Rank Adaptation er en parameter-effektiv finjusteringsmetode som injiserer trenbare rang-dekomponeringsmatriser i eksisterende modellvekter.

Key Concepts

  • Parameter-effektiv finjustering
  • Rang-dekomponering
  • Frysing av vekter
  • Adapter-moduler

Use Cases

  • Tilpasning av store språkmodeller
  • Domenespesifikk tilpasning
  • Trening med begrensede ressurser

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related