LoRA (Low-Rank Adaptation)

term_id: lora

Category: training_techniques

Definition

LoRA фиксирует предварительно обученные веса модели и вставляет обучаемые матрицы разложения в каждый слой архитектуры трансформера. Оптимизируя только эти матрицы низкого ранга, LoRA значительно снижает

Summary

Адаптация низкого ранга — метод эффективной по параметрам дообучения, внедряющий обучаемые матрицы разложения ранга в существующие веса модели.

Key Concepts

  • Эффективное по параметрам дообучение (PEFT)
  • Разложение ранга
  • Фиксация весов
  • Модули-адаптеры

Use Cases

  • Кастомизация больших языковых моделей
  • Адаптация под конкретную предметную область
  • Обучение при ограниченных ресурсах

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related