Imatrix
term_id: imatrix
Category: basic_concepts
Definition
Imatrix, forkortelse for Importance Matrix (Vigtighedsmatrix), er en teknik primært forbundet med træning og kvantisering af LLM’er baseret på GGML. Den beregner andenordens afledede (approksimation af Hessian-matricen) af…
Summary
En specifik algoritme brugt i træningen af store sprogmodeller til at beregne vigtighedsmatricer for effektiv parameteroptimering.
Key Concepts
- Hessian-matrix
- Parameter-vigtighed
- Kvantisering
- Finjusteringsoptimering
Use Cases
- Effektiv finjustering af LLM’er
- Modelkvantisering til edge-enheder
- Reduktion af beregningsomkostninger under træning