Pythia
term_id: pythia
Category: basic_concepts
Definition
Pythia היא סדרה של מודלי שפה גדולים (LLM) בקוד פתוח שנוצרו על ידי EleutherAI, המיועדים להקל על מחקר בתחום האינטרפרטביליות (היכולת להבין) והתנהגות הרשתות הנוירוניות. הסדרה כוללת מודלים בגדלים שונים המאפשרים השוואה מדוקדקת.
Summary
Pythia היא סדרה של מודלי שפה גדולים (LLM) המבוססים על ארכיטקטורת Decoder בלבד, שפותחו על ידי EleutherAI, הנעים בין 70 מיליון ל-12 מיליארד פרמטרים.
Key Concepts
- מודלי שפה גדולים
- מחקר אינטרפרטביליות
- ארכיטקטורת GPT
- בינה מלאכותית בקוד פתוח
Use Cases
- חקר התנהגות סקלינג (הרחבה) של מודלי שפה
- מחקר היבטים של אינטרפרטביליות במודלים
- מטרות לימודיות בתחום עיבוד שפה טבעית