QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA łączy adaptację niskiego rzędu (LoRA) z kwantyzacją 4-bitową, co znacząco redukuje wymagania pamięciowe niezbędne do douczania ogromnych modeli. Przechowywanie wag w formacie 4-bitowym i dodanie małych adapterów pozwala na uruchamianie zaawansowanych modeli na sprzęcie konsumenckim.

Summary

Zilicjonowana adaptacja niskiego rzędu (Quantized Low-Rank Adaptation), metoda efektywnego douczania dużych modeli językowych przy użyciu kwantyzacji 4-bitowej i adapterów niskiego rzędu.

Key Concepts

  • Adaptacja niskiego rzędu (Low-Rank Adaptation)
  • Kwantyzacja 4-bitowa
  • Efektywność pamięciowa
  • Douczanie (Fine-Tuning)

Use Cases

  • Douczanie na kartach GPU dla konsumentów
  • Środowiska z ograniczonymi zasobami
  • Szybka iteracja modeli

Code Example

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Powiązane