QLoRA

Definition

QLoRA объединяет адаптацию с низким рангом (LoRA) с 4-битным квантованием для значительного снижения объема памяти, необходимого для дообучения массивных моделей. За счет хранения весов в 4-битном формате и добавления обучаемых матриц низкого ранга, QLoRA позволяет проводить тонкую настройку мощных моделей на потребительском оборудовании.

Summary

Квантованная адаптация с низким рангом — метод эффективной дообучения больших языковых моделей с использованием 4-битного квантования и адаптеров низкого ранга.

Key Concepts

• Адаптация с низким рангом
• 4-битное квантование
• Эффективность использования памяти
• Дообучение (Fine-tuning)

Use Cases

• Дообучение на потребительских GPU
• Среда с ограниченными ресурсами
• Быстрая итерация моделей

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related Terms

• LoRA (Low-Rank Adaptation)
• PEFT (Parameter-Efficient Fine-Tuning)
• Квантование
• Экономичное дообучение по параметрам