QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA kombinerer Lav-rang tilpasning (LoRA) med 4-bits kvantisering for å redusere minneforbruket som kreves for finjustering av massive modeller betydelig. Ved å lagre vekter i 4-bits format og legge til trenbare adaptere, oppnås stor effektivitet.

Summary

Kvantisert lav-rang tilpasning, en metode for effektiv finjustering av store språkmodeller ved hjelp av 4-bits kvantisering og lav-rang adaptere.

Key Concepts

  • Lav-rang tilpasning (Low-Rank Adaptation)
  • 4-bits kvantisering
  • Minneeffektivitet
  • Finjustering

Use Cases

  • Finjustering på forbruker-GPU-er
  • Miljøer med begrensede ressurser
  • Rask modelliterasjon

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related