Grok 1
term_id: grok_1
Category: basic_concepts
Definition
Grok-1 הוא השחרור הראשון של xAI, שיצא לאור בנובמבר 2023. זהו מודל שפה גדול המבוסס על ארכיטקטורת Transformer עם רק שכבות מפרק (decoder-only), הכולל כ-33 מיליארד פרמטרים. דגש מיוחד מושם על שימוש בארכיטקטורת Mixture-of-Experts (ערבוב מומחים), המאפשרת למודל להפעיל רק תת-קבוצה של פרמטרים לכל קלט, מה שעשוי לשפר את היעילות החישובית והביצועים במשימות מורכבות.
Summary
הגרסה הראשונה של מודל השפה Grok ששוחררה על ידי xAI, המאפיינת ארכיטקטורת Mixture-of-Experts ומספר פרמטרים של כ-33 מיליארד.
Key Concepts
- ערבוב מומחים
- ארכיטקטורת Transformer
- ספירת פרמטרים
- מודל מבוסס מפרק בלבד
Use Cases
- יצירת הטקסט והשלמתו
- שילוב קוד (Code Synthesis)
- משימות חשיבה מורכבות