QLoRA

Definition

QLoRA combineert Low-Rank Adaptation (LoRA) met 4-bits kwantisatie om de geheugenruimte die nodig is voor het fine-tunen van enorme modellen aanzienlijk te verminderen. Door gewichten op te slaan in 4-bits formaat en tr…

Summary

Quantized Low-Rank Adaptation, een methode voor efficiënte fine-tuning van grote taalmodellen met behulp van 4-bits kwantisatie en laag-rang adapters.

Key Concepts

• Low-Rank Adaptation
• 4-bits kwantisatie
• Geheugenefficiëntie
• Fine-tuning

Use Cases

• Fine-tuning op consumenten-GPU’s
• Omgevingen met beperkte middelen
• Snelle modeliteratie

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related Terms

• LoRA (Low-Rank Adaptation)
• PEFT (Parameter-Efficient Fine-Tuning)
• Kwantisatie (Vermindering van numerieke precisie)
• Parameter-efficiënte fine-tuning (Technieken om minder parameters bij te werken)