מודל שפה גדול כשופט
term_id: llm_as_a_judge
Category: application_paradigms
Definition
מודל שפה גדול כשופט הוא פרדיגמת הערכה שבה מודל שפה גדול משמש כמעריך אוטומטי לאיכות הפלט של מודלים אחרים. במקום להסתמך אך ורק על אנשי אנוש או מדדים קשיחים, השיטה משתמשת ביכולות השפה וההיסק של המודל כדי להעריך נאמנות, עקביות, יצירתיות או בטיחות של התשובות, מה שמאיץ את תהליכי האימון וההתאמה.
Summary
שיטה להערכת פלט של מודלי שפה גדולים (LLM) באמצעות שימוש ב-LLM אחר כדי לדורג או להעריך תגובות מול קריטריונים.
Key Concepts
- הערכה אוטומטית
- נדס הנחיות (Prompt Engineering)
- יישור מודלים (Model Alignment)
- מדדי איכות
Use Cases
- בחינת מודלים המבוססים על RLHF
- הערכת כתיבה יצירתית
- זיהוי נושאות וטיה