LoRA

Definition

LoRA bevriest voorgekochte modelgewichten en voegt trainbare decompositiematrices in elke laag van de Transformer-architectuur. Door alleen deze laag-rang matrices te optimaliseren, reduceert LoRA aanzienlijk…

Summary

Low-Rank Adaptation is een parameter-efficiënte methode voor fine-tuning die trainbare rangontbindingsmatrices injecteert in bestaande modelgewichten.

Key Concepts

• Parameter-efficiënte fine-tuning
• Rangontbinding
• Bevriezen van gewichten
• Adaptermodules

Use Cases

• Aanpassen van LLM’s
• Domeinspecifieke adaptatie
• Training met beperkte middelen

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related Terms

• PEFT (Parameter-Efficient Fine-Tuning)
• Fine-tuning
• Kwantisering