GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) är ett binärt filformat utformat specifikt för att köra stora språkmodeller på konsumentnivåhårdvara. Det stöder olika kvantificeringstekniker, vilket möjliggör körning av modeller med minskat minnesutrymme och beräkningskrav utan att tappa för mycket prestanda.
Summary
Ett filformat utvecklat avgger.ai för att lagra och läsa in kvantifierade stora språkmodeller effektivt på lokal hårdvara.
Key Concepts
- Kvantifiering
- Modellserialisering
- Lokal inferens
- Minnesoptimering
Use Cases
- Körning av LLMs lokalt på bärbara datorer eller stationära datorer
- Distribution av modeller i resursbegränsade enheter vid kanten (edge devices)
- Delning av optimerade modellvikter i öppen källkodesgemenskapen