GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) es un formato de archivo binario diseñado específicamente para ejecutar modelos de lenguaje grandes en hardware de consumo. Admite varias técnicas de cuantificación, permitiendo que modelos masivos funcionen en dispositivos con recursos limitados sin perder significativamente la precisión.
Summary
Un formato de archivo desarrollado porgger.ai para almacenar y cargar modelos de lenguaje grandes cuantificados de manera eficiente en hardware local.
Key Concepts
- Cuantización
- Serialización de Modelos
- Inferencia Local
- Optimización de Memoria
Use Cases
- Ejecución de LLMs localmente en portátiles o escritorios
- Despliegue de modelos en dispositivos edge con recursos limitados
- Compartir pesos de modelos optimizados en la comunidad de código abierto