GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) is een binair bestandsformaat dat specifiek is ontworpen voor het draaien van grote taalmodellen op consumentenhardware. Het ondersteunt verschillende kwantisatietechnieken, waardoor modellen compacter worden en sneller inference mogelijk is op apparaten met beperkte middelen.
Summary
Een bestandsformaat ontwikkeld doorgger.ai voor het efficiënt opslaan en laden van gekwantiseerde grote taalmodellen op lokale hardware.
Key Concepts
- Kwantisering
- Modelserialisatie
- Lokale Inferentie
- Geheugenoptimalisatie
Use Cases
- Lokaal draaien van LLMs op laptops of desktops
- Implementeren van modellen op edge-apparaten met beperkte middelen
- Delen van geoptimaliseerde modelgewichten in de opensourcegemeenschap