LoRA

Definition

O LoRA congela os pesos do modelo pré-treinado e insere matrizes de decomposição treináveis em cada camada da arquitetura Transformer. Ao otimizar apenas essas matrizes de baixo ranque, o LoRA reduz significativamente o custo computacional.

Summary

Adaptação de Baixo Ranque é um método de ajuste fino eficiente em parâmetros que injeta matrizes de decomposição de ranque treináveis nos pesos existentes do modelo.

Key Concepts

• Ajuste Fino Eficiente em Parâmetros
• Decomposição de Ranque
• Congelamento de Pesos
• Módulos Adaptadores

Use Cases

• Personalização de LLMs
• Adaptação Específica por Domínio
• Treinamento com Recursos Limitados

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related Terms

• PEFT (Técnicas de Ajuste Fino Eficientes em Parâmetros)
• Fine-Tuning (Ajuste Fino)
• Quantização