GGUF

Definition

GGUF (Format Unifié Généré par GPT) est un format de fichier binaire conçu spécifiquement pour exécuter de grands modèles de langage sur du matériel grand public. Il prend en charge diverses techniques de quantification, permettant une réduction significative de la taille des modèles tout en conservant leurs performances.

Summary

Un format de fichier développé pargger.ai pour stocker et charger efficacement des modèles de langage quantifiés sur du matériel local.

Key Concepts

• Quantification
• Sérialisation de modèles
• Inférence locale
• Optimisation de la mémoire

Use Cases

• Exécution de LLM localement sur des ordinateurs portables ou de bureau
• Déploiement de modèles sur des appareils edge aux ressources limitées
• Partage de poids de modèles optimisés au sein de la communauté open source

Related Terms

• LLAMA.cpp (Bibliothèque C++ pour l’inférence de LLM)
• Quantification (Réduction de la précision numérique)
• ONNX (Format interopérable d’échange de modèles)
• Poids de modèle (Paramètres appris par le réseau de neurones)