GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) er et binært filformat designet specifikt til at køre store sprogmodeller på forbrugerhardware. Det understøtter forskellige kvantificeringsteknikker, hvilket gør det muligt at reducere modellens hukommelsesbehov betydeligt uden at ofre for meget præcision, hvilket muliggør drift på maskiner uden dedikeret GPU.
Summary
Et filformat udviklet afgger.ai til effektiv lagring og indlæsning af kvantificerede store sprogmodeller på lokalt hardware.
Key Concepts
- Kvantificering (Quantization)
- Modelserialisering
- Lokal Inferens
- Hukommelsesoptimering
Use Cases
- Kørsel af LLM’er lokalt på bærbarcomputer eller desktop
- Udrulning af modeller på ressourcerestricted edge-enheder
- Deling af optimerede modelvægte i open-source-miljøet