Imatrix
term_id: imatrix
Category: basic_concepts
Definition
Imatrix (от Importance Matrix — Матрица важности) — это техника, преимущественно связанная с обучением и квантованием LLM на базе GGML. Она вычисляет вторые производные (приближение матрицы Гессе) для…
Summary
Специфический алгоритм, используемый при обучении больших языковых моделей для вычисления матриц важности с целью эффективной оптимизации параметров.
Key Concepts
- Матрица Гессе
- Важность параметров
- Квантование
- Оптимизация тонкой настройки
Use Cases
- Эффективная тонкая настройка больших языковых моделей
- Квантование моделей для устройств на краю сети (edge devices)
- Снижение вычислительных накладных расходов при обучении