LoRA

term_id: lora

Category: training_techniques

Definition

LoRA congela i pesi del modello pre-addestrato e inserisce matrici di decomposizione addestrabili in ciascuno strato dell’architettura Transformer. Ottimizzando solo queste matrici a basso rango, LoRA riduce significativamente

Summary

Low-Rank Adaptation è un metodo di affinamento efficiente nei parametri che inietta matrici di decomposizione di rango addestrabili nei pesi esistenti del modello.

Key Concepts

  • Affinamento Efficiente nei Parametri
  • Decomposizione di Rango
  • Congelamento dei Pesi
  • Moduli Adattatori

Use Cases

  • Personalizzazione degli LLM
  • Adattamento Specifico per Dominio
  • Addestramento con Risorse Limitate

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related