LoRA

term_id: lora

Category: training_techniques

Definition

LoRA gèle les poids pré-entraînés du modèle et insère des matrices de décomposition entraînables dans chaque couche de l’architecture Transformeur. En optimisant uniquement ces matrices de faible rang, LoRA réduit considérablement

Summary

L’adaptation à faible rang est une méthode d’ajustement fin efficace en paramètres qui injecte des matrices de décomposition de rang entraînable dans les poids existants du modèle.

Key Concepts

  • Ajustement fin efficace en paramètres
  • Décomposition de rang
  • Gel des poids
  • Modules adaptateurs

Use Cases

  • Personnalisation des LLM
  • Adaptation spécifique au domaine
  • Entraînement sous contraintes de ressources

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related