GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) ist ein Binärdateiformat, das speziell für die Ausführung großer Sprachmodelle auf Consumer-Hardware entwickelt wurde. Es unterstützt verschiedene Quantisierungstechniken, wodurch Modelle mit geringerem Ressourcenverbrauch laufen können.
Summary
Ein Dateiformat, das vongger.ai entwickelt wurde, um quantisierte große Sprachmodelle effizient auf lokaler Hardware zu speichern und zu laden.
Key Concepts
- Quantisierung
- Modellserialisierung
- Lokale Inferenz
- Speicheroptimierung
Use Cases
- Ausführung von LLMs lokal auf Laptops oder Desktops
- Bereitstellung von Modellen auf ressourcenbeschränkten Edge-Geräten
- Weiter optimierter Modellgewichte in der Open-Source-Community