GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) er et binært filformat designet spesielt for å kjøre store språkmodeller på konsumentmaskinvare. Det støtter ulike kvantiseringsteknikker, noe som lar modeller kjøres raskere og med mindre minnebruk.
Summary
Et filformat utviklet avgger.ai for lagring og lasting av kvantiserte store språkmodeller effektivt på lokal maskinvare.
Key Concepts
- Kvantisering
- Modellserialisering
- Lokal inferens
- Minneoptimalisering
Use Cases
- Kjøring av LLM-er lokalt på bærbar- eller stasjonære datamaskiner
- Utplassering av modeller på ressursbegrensede kantenheter (edge devices)
- Deling av optimaliserte modellvekter i open source-miljøet