GGUF
term_id: gguf
Category: basic_concepts
Definition
GGUF (GPT-Generated Unified Format) adalah format file biner yang dirancang khusus untuk menjalankan model bahasa besar pada perangkat keras konsumen. Format ini mendukung berbagai teknik kuantisasi, memungkinkan model yang lebih kecil dan cepat untuk dijalankan pada laptop atau PC tanpa memerlukan GPU kelas server yang mahal.
Summary
Format file yang dikembangkan olehgger.ai untuk menyimpan dan memuat model bahasa besar yang telah dikuantisasi secara efisien pada perangkat keras lokal.
Key Concepts
- Kuantisasi
- Serialisasi Model
- Inferensi Lokal
- Optimasi Memori
Use Cases
- Menjalankan LLM secara lokal di laptop atau desktop
- Menyebarkan model di perangkat tepi dengan sumber daya terbatas
- Berbagi bobot model yang dioptimalkan dalam komunitas sumber terbuka