تنسيق GGUF
term_id: gguf
Category: basic_concepts
Definition
يُعد GGUF (الصيغة الموحدة المولدة بواسطة GPT) تنسيقاً ثنائياً للملفات صُمم خصيصاً لتشغيل نماذج اللغة الكبيرة على أجهزة المستهلك العادية. ويدعم تقنيات التكميم (quantization) المختلفة، مما يسمح بتقليل حجم النموذج واستهلاك الذاكرة دون التأثير الكبير على الدقة، مما يجعله مثالياً للتشغيل المحلي.
Summary
تنسيق ملف طورته شركةgger.ai لتخزين وتحميل نماذج اللغة الكبيرة المُكمَّمة بكفاءة على الأجهزة المحلية.
Key Concepts
- التكميم
- تسلسل النماذج
- الاستدلال المحلي
- تحسين الذاكرة
Use Cases
- تشغيل نماذج اللغة الكبيرة محلياً على أجهزة الكمبيوتر المحمولة أو المكتبية
- نشر النماذج في أجهزة الطرف (Edge devices) ذات الموارد المحدودة
- مشاركة أوزان النماذج المحسّنة في مجتمع المصادر المفتوحة