GPT-2
term_id: gpt2
Category: basic_concepts
Definition
Generative Pre-trained Transformer 2 (GPT-2) הוא מודל שפה אוטורגרסיבי המשתמש בארכיטקטורת הטרנספורמר כדי לייצר טקסט הדומה לשפה אנושית. המודל אומן על אוסף נתונים עצום של טקסטים מאינטרנט.
Summary
GPT-2 הוא מודל שפה מבוסס טרנספורמר בקנה מידה גדול, שפותח על ידי OpenAI ליצירת והבנת טקסט.
Key Concepts
- ארכיטקטורת טרנספורמר
- מודלינג אוטורגרסיבי
- עיבוד שפה טבעית
- למידה בכמה דוגמאות (Few-Shot Learning)
Use Cases
- השלמת ויצירת טקסט
- תרגום מכונה
- סוכנים קונברסטיביים (צ’אטבוטים)