QLoRA

term_id: qlora

Category: training_techniques

Definition

QLoRA объединяет адаптацию с низким рангом (LoRA) с 4-битным квантованием для значительного снижения объема памяти, необходимого для дообучения массивных моделей. За счет хранения весов в 4-битном формате и добавления обучаемых матриц низкого ранга, QLoRA позволяет проводить тонкую настройку мощных моделей на потребительском оборудовании.

Summary

Квантованная адаптация с низким рангом — метод эффективной дообучения больших языковых моделей с использованием 4-битного квантования и адаптеров низкого ранга.

Key Concepts

  • Адаптация с низким рангом
  • 4-битное квантование
  • Эффективность использования памяти
  • Дообучение (Fine-tuning)

Use Cases

  • Дообучение на потребительских GPU
  • Среда с ограниченными ресурсами
  • Быстрая итерация моделей

Code Example

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Связанные