GGUF
term_id: gguf
Category: basic_concepts
Definition
A GGUF (GPT-Generated Unified Format) egy bináris fájlformátum, amelyet kifejezetten nagy nyelvi modellek fogyasztói kategóriájú hardveren történő futtatására terveztek. Támogatja a különböző kvantálási technikákat, lehetővé téve a modellek méretének csökkentését anélkül, hogy drasztikusan romlana a pontosság.
Summary
Agger.ai által kifejlesztett fájlformátum a kvantált nagy nyelvi modellek hatékony tárolására és betöltésére helyi hardveren.
Key Concepts
- Kvantálás
- Modell szerializálás
- Helyi inferencia
- Memóriaoptimalizálás
Use Cases
- LLM-ek futtatása laptopokon vagy asztali gépeken
- Modellek telepítése erőforrás-korlátozott perkeszközökön
- Optimalizált modell súlyok megosztása a nyílt forráskódú közösségben