LoRA (Low-Rank Adaptation)

term_id: lora

Category: training_techniques

Definition

LoRA zamraża wstępnie wytrenowane wagi modelu i wstawia trenowalne macierze dekompozycji do każdej warstwy architektury Transformera. Optymalizując tylko te niskorzutowe macierze, LoRA znacznie redukuje

Summary

Niskorzutowa Adaptacja to metoda dopracowywania (fine-tuningu) efektywnego pod kątem parametrów, która wprowadza trenowalne macierze dekompozycji rzędu niskiego do istniejących wag modelu.

Key Concepts

  • Dopracowywanie Efektywne Pod Kątem Parametrów
  • Dekompozycja Rzędu
  • Zamrażanie Wag
  • Moduły Adapterów

Use Cases

  • Dostosowywanie Dużych Modeli Językowych
  • Adaptacja Specyficzna dla Domeny
  • Trenowanie w Warunkach Ograniczonych Zasobowo

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related