Local LLM
term_id: local_llm
Category: application_paradigms
Definition
يتضمن تشغيل Local LLM نشر نماذج الأوزان المفتوحة مباشرة على عتاد المستهلك مثل أجهزة الكمبيوتر الشخصية أو أجهزة ماك أو الخوادم المحلية. يلغي هذا النهج الاعتماد على مزودي واجهات برمجة التطبيقات الطرف الثالث، مما يضمن خصوصية البيانات.
Summary
يشير مصطلح Local LLM إلى تشغيل نماذج اللغة الكبيرة على عتاد شخصي بدلاً من خدمات السحابة، مع التركيز على خصوصية البيانات وإمكانية الوصول دون اتصال بالإنترنت.
Key Concepts
- الاستدلال على الجهاز
- خصوصية البيانات
- الضغط (Quantization)
- متطلبات العتاد
Use Cases
- مساعدين للملاحظات الخاصة
- أدوات البحث دون اتصال بالإنترنت
- معالجة البيانات المؤسسية الآمنة