Local LLM
term_id: local_llm
Category: application_paradigms
Definition
הרצת Local LLM כרוכה בפריסת מודלים בעלי משקל פתוח ישירות על חומרה צרכנית כמו מחשבים אישיים, מקים או שרתים מקומיים. גישה זו מבטלת את התלות בספקי API צד שלישי ומבטיחה…
Summary
מונח המתאר הרצת מודלי שפה גדולים בחומרה אישית במקום בשירותי ענן, תוך דגש על פרטיות הנתונים ונגישות לא מקוונת.
Key Concepts
- הסקה על המכשיר (On-device inference)
- פרטיות נתונים
- כיווץ (Quantization)
- דרישות חומרה
Use Cases
- עוזרי כתיבת הערות פרטיות
- כלי מחקר לא מקוונים
- עיבוד נתונים ארגוניים מאובטח