GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) je binární formát souboru navržený specificky pro běh velkých jazykových modelů na spotřebitelském hardwaru. Podporuje různé techniky kvantizace, což umožňuje zmenšit velikost modelů a snížit nároky na paměť bez výrazné ztráty přesnosti, čímž činí pokročilou AI dostupnou pro běžné uživatele na notebooku nebo stolním počítači.
Summary
Formát souboru vyvinutý společnostígger.ai pro efektivní ukládání a načítání kvantizovaných velkých jazykových modelů na lokálním hardwaru.
Key Concepts
- Kvantizace
- Serializace modelů
- Lokální inferenční zpracování
- Optimalizace paměti
Use Cases
- Spouštění LLM lokálně na noteboocích nebo stolních počítačích
- Nasazování modelů na okrajových zařízeních s omezenými zdroji
- Sdílení optimalizovaných vah modelů ve komunitě open source