GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) הוא פורמט קובץ בינארי המיועד ספציפית להפעלת מודלי שפה גדולים על חומרה לצרכנים. הוא תומך בטכניקות קוונטיזציה שונות, המאפשרות הפחתת גודל המודל ושיפור הביצועים ללא פגיעה משמעותית בדיוק.
Summary
פורמט קבצים שפותח על ידיgger.ai לאחסון וטעינה יעילים של מודלי שפה גדולים מקוונטנטים (Quantized) בחומרה מקומית.
Key Concepts
- קוונטיזציה (Quantization)
- סריאליזציה של מודלים
- הסקה מקומית (Local Inference)
- אופטימיזציה של זיכרון
Use Cases
- הפעלת מודלי שפה גדולים (LLMs) מקומית על מחשבים ניידים או שולחניים
- הטמעת מודלים במכשירי קצה עם משאבים מוגבלים
- שיתוף משקלות מודל מותאמים בקהילת הקוד הפתוח