BERT
term_id: bert
Category: basic_concepts
Definition
BERT (Bidirectional Encoder Representations from Transformers) הוא טכניקת למידת מכונה מבוססת מתמרים לאימון מראש בעיבוד שפה טבעית (NLP), שפותחה על ידי גוגל. המודל משתמש במודלינג של שפה מסווה ובחיזוי המשפט הבא כדי ללמוד ייצוגים דו-כיווניים של טקסט.
Summary
מודל לעיבוד שפה טבעית מאומן מראש, המבוסס על ייצוגים דו-כיווניים של מקודדים מתוך מתמרים.
Key Concepts
- ארכיטקטורת מתמר
- מודלינג שפה מסווה
- אימון מראש
- כוונון עדין
Use Cases
- מערכות מענה על שאלות
- ניתוח רגשות
- מיון טקסט