LoRA

term_id: lora

Category: training_techniques

Definition

LoRA îngheață ponderile modelului pre-antrenat și inserează matrici antrenabile de descompunere în fiecare strat al arhitecturii Transformer. Prin optimizarea doar a acestor matrici de rang scăzut, LoRA reduce semnificativ

Summary

Adaptarea de Rang Scăzut este o metodă de rafinare eficientă din punct de vedere al parametrilor care injectează matrici antrenabile de descompunere de rang în ponderile existente ale modelului.

Key Concepts

  • Rafinarea Eficientă a Parametrilor
  • Descompunerea de Rang
  • Înghețarea Ponderilor
  • Module Adaptor

Use Cases

  • Personalizarea LLM-urilor
  • Adaptarea Specifică Domeniului
  • Antrenamentul cu Resurse Limitate

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related