GGUF

Definition

GGUF（GPT-Generated Unified Format，GPT生成统一格式）是一种专为在消费级硬件上运行大型语言模型而设计的二进制文件格式。它支持各种量化技术，允许模型在资源受限的设备上更高效地运行。

Summary

由gger.ai开发的一种文件格式，用于在本地硬件上高效存储和加载量化大型语言模型。

Key Concepts

• 量化
• 模型序列化
• 本地推理
• 内存优化

Use Cases

• 在笔记本电脑或台式机上本地运行LLM
• 在资源受限的边缘设备上部署模型
• 在开源社区中分享优化的模型权重

Related Terms

• LLAMA.cpp (LLAMA.cpp库)
• Quantization (量化)
• ONNX (开放神经网络交换格式)
• Model Weights (模型权重)