Imatrix
term_id: imatrix
Category: basic_concepts
Definition
Imatrix, forkortelse for Importance Matrix, er en teknikk primært assosiert med GGML-basert LLM-trening og kvantisering. Den beregner andreordensderiverte (approksimasjon av Hessian-matrisen) av…
Summary
En spesifikk algoritme brukt i trening av store språkmodeller for å beregne viktighetsmatriser for effektiv parameteroptimalisering.
Key Concepts
- Hessian-matrise
- Parameter-viktighet
- Kvantisering
- Finjusteringsoptimalisering
Use Cases
- Effektiv finjustering av store språkmodeller
- Modellkvantisering for kantenheter
- Reduksjon av datamengde i trening