GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format), büyük dil modellerinin tüketici sınıfı donanımlarda çalıştırılması için özel olarak tasarlanmış ikili bir dosya formatıdır. Çeşitli nicelleme (quantization) tekniklerini destekleyerek, modellerin bellek kullanımını azaltırken performansını korumasını sağlar.
Summary
Ölçeklendirilmiş büyük dil modellerinin yerel donanımda verimli bir şekilde depolanması ve yüklenmesi içingger.ai tarafından geliştirilen bir dosya formatı.
Key Concepts
- Nicelleme (Quantization)
- Model Serileştirme
- Yerel Çıkarım (Local Inference)
- Bellek Optimizasyonu
Use Cases
- Dizüstü bilgisayar veya masaüstü bilgisayarlarda yerel olarak LLM çalıştırma
- Kaynak kısıtlamalı uç cihazlarda modelleri dağıtma
- Açık kaynak topluluğunda optimize edilmiş model ağırlıklarını paylaşma