GGUF
term_id: gguf
Category: basic_concepts
Definition
Το GGUF (GPT-Generated Unified Format) είναι μια δυαδική μορφή αρχείου σχεδιασμένη ειδικά για την εκτέλεση μεγάλων γλωσσικών μοντέλων σε υλικό καταναλωτικής κλάσης. Υποστηρίζει διάφορες τεχνικές κβάντωσης, επιτρέποντας σε μεγαλύτερα μοντέλα να τρέχουν σε συσκευές με περιορισμένους πόρους, μειώνοντας τον απαιτούμενο χώρο μνήμης και υπολογιστικό κόστος.
Summary
Μια μορφή αρχείου που αναπτύχθηκε από τηνgger.ai για την αποθήκευση και φόρτωση κβαντωμένων μεγάλων γλωσσικών μοντέλων με αποτελεσματικότητα σε τοπικό υλικό.
Key Concepts
- Κβάντωση
- Σειριοποίηση Μοντέλου
- Τοπική Συμπερασματολογία
- Βελτιστοποίηση Μνήμης
Use Cases
- Εκτέλεση LLM τοπικά σε φορητούς υπολογιστές ή επιτραπέζιους υπολογιστές
- Διάθεση μοντέλων σε συσκευές άκρης με περιορισμένους πόρους
- Κοινοποίηση βελτιστοποιημένων βαρών μοντέλου στην κοινότητα ανοιχτού κώδικα