LoRA

Definition

LoRA friert die vorab trainierten Modellgewichte ein und fügt jeder Schicht der Transformer-Architektur trainierbare Zerlegungsmatrizen hinzu. Durch die Optimierung nur dieser niedrigdimensionalen Matrizen reduziert LoRA erheblich…

Summary

Low-Rank Adaptation ist eine parameter-effiziente Feinabstimmungsmethode, die trainierbare Rang-Zerlegungsmatrizen in bestehende Modellgewichte einfügt.

Key Concepts

• Parameter-effiziente Feinabstimmung
• Rangzerlegung
• Einfrieren der Gewichte
• Adapter-Module

Use Cases

• Anpassung von LLMs
• Domänenspezifische Anpassung
• Training unter Ressourcenbeschränkungen

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related Terms

• PEFT (Parameter-Efficient Fine-Tuning)
• Fine-Tuning (Feinabstimmung)
• Quantisierung