Imatrix
term_id: imatrix
Category: basic_concepts
Definition
Imatrix, förkortning för Importance Matrix, är en teknik som främst är associerad med träning och kvantisering av LLMs baserade på GGML. Den beräknar andra ordningens derivator (approximation av Hessian-matrisen) för att identifiera vilka parametrar som är viktigast att behålla vid komprimering.
Summary
En specifik algoritm som används vid träning av stora språkmodeller för att beräkna viktighetsmatriser för effektiv parameteroptimering.
Key Concepts
- Hessian-matris
- Parameterimportance
- Kvantisering
- Optimering av finjustering
Use Cases
- Effektiv finjustering av LLMs
- Modellkvantisering för enheter i kantnätet
- Minskning av beräkningsbelastning under träning