QLoRA

Definition

QLoRA kombinerar lågrangsanpassning (LoRA) med 4-bits kvantisering för att avsevärt minska minnesutrymmet som krävs för finjustering av massiva modeller. Genom att lagra vikter i 4-bitsformat och lägga till tränabara adapterlager…

Summary

Kvantiserad lågrangsanpassning, en metod för att effektivt finjustera stora språkmodeller med hjälp av 4-bits kvantisering och lågrangsadaptrar.

Key Concepts

• Lågrangsanpassning
• 4-bits kvantisering
• Minneseffektivitet
• Finjustering

Use Cases

• Finjustering på konsument-GPU:er
• Resursbegränsade miljöer
• Snabb modelliteration

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related Terms

• LoRA (Low-Rank Adaptation)
• PEFT (Parameter-Efficient Fine-Tuning)
• Kvantisering (Att minska numerisk precision)
• Parameter-efficient fine-tuning (Effektiv anpassning av modellparametrar)