QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA combină Adaptarea de Rang Scăzut (LoRA) cu cantizarea la 4 biți pentru a reduce semnificativ amprenta de memorie necesară rafinării modelelor masive. Prin stocarea ponderilor în format de 4 biți și adăugarea unor adaptori mici, se economisește resursă.

Summary

Adaptarea de Rang Scăzut Cantizată, o metodă pentru rafinarea eficientă a modelelor lingvistice mari folosind cantizarea la 4 biți și adaptori de rang scăzut.

Key Concepts

  • Adaptare de Rang Scăzut
  • Cantizare la 4 Biți
  • Eficiența Memoriei
  • Rafinare

Use Cases

  • Rafinare pe GPU-uri pentru Consumatori
  • Medii cu Resurse Limitate
  • Iterație Rapidă a Modelului

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related