QLoRA

Definition

QLoRA łączy adaptację niskiego rzędu (LoRA) z kwantyzacją 4-bitową, co znacząco redukuje wymagania pamięciowe niezbędne do douczania ogromnych modeli. Przechowywanie wag w formacie 4-bitowym i dodanie małych adapterów pozwala na uruchamianie zaawansowanych modeli na sprzęcie konsumenckim.

Summary

Zilicjonowana adaptacja niskiego rzędu (Quantized Low-Rank Adaptation), metoda efektywnego douczania dużych modeli językowych przy użyciu kwantyzacji 4-bitowej i adapterów niskiego rzędu.

Key Concepts

• Adaptacja niskiego rzędu (Low-Rank Adaptation)
• Kwantyzacja 4-bitowa
• Efektywność pamięciowa
• Douczanie (Fine-Tuning)

Use Cases

• Douczanie na kartach GPU dla konsumentów
• Środowiska z ograniczonymi zasobami
• Szybka iteracja modeli

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related Terms

• LoRA (Low-Rank Adaptation)
• PEFT (Parameter-Efficient Fine-Tuning)
• Kwantyzacja (Quantization)
• Parameter-Efficient Fine-Tuning (Douczanie efektywne parametrycznie)