LoRA (Low-Rank Adaptation)

term_id: lora

Category: training_techniques

Definition

LoRA fryser fortrænede modelvægte og indsætter trainable dekompositions-matricer i hvert lag af transformer-arkitekturen. Ved kun at optimere disse lav-rang matricer reducerer LoRA betydeligt

Summary

Low-Rank Adaptation er en parameter-effektiv finjusteringsmetode, der indsætter trainable rang-dekompositions-matricer i eksisterende modelvægte.

Key Concepts

  • Parameter-effektiv finjustering
  • Rang-dekomposition
  • Frysning af vægte
  • Adapter-moduler

Use Cases

  • Tilpasning af store sprogmodeller
  • Domænespecifik tilpasning
  • Træning under ressourcebegrænsninger

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related