LoRA

term_id: lora

Category: training_techniques

Definition

LoRA fryser förtränade modellvikter och infogar tränbara dekompositions-matriser i varje lager av transformerarkitekturen. Genom att endast optimera dessa lågrankade matriser reducerar LoRA avsevärt

Summary

Low-Rank Adaptation är en parameter-effektiv metod för finjustering som injicerar tränbara rangdekompositions-matriser i befintliga modellvikter.

Key Concepts

  • Parameter-effektiv finjustering
  • Rangdekomposition
  • Frysning av vikter
  • Adapter-moduler

Use Cases

  • Anpassning av stora språkmodeller
  • Domänspecifik anpassning
  • Träning med begränsade resurser

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related