Transformers

Terms tagged with Transformers

Definition

כוונון קידומת הוא טכניקה להתאמה חסכונית בפרמטרים עבור טרנספורמרים מאומנים מראש. במקום …

הקשר ארוך מתייחס ליכולתם של מודלים מבוססי מתמרים (Transformers) להתמודד עם אורכי קלט …

מילוי מסכה היא מטרת אימון מקדים בסיסית המשמשת במודלים מבוססי טרנספורמר כמו BERT. התהליך …

ExBERT מספק פרשנות (Interpretability) לדגם הטרנספורמר BERT על ידי ניתוח החשיבות של ראשי …

מכיוון שטרנספורמרים מעבדים את כל האסימונים במקביל ולא ברצף כמו ב-RNNs, חסר להם ידע מובנה …

מקודדים מעבדים רצפי קלט גולמיים או מבני נתונים והופכים אותם לייצוגים במרחב סמוי (latent …

מתאמים הם טכניקת כיוון עדיף חסכונית בפרמטרים המשמשת בעיקר במודלי שפה גדולים …

מנגנוני תשומת לב מאפשרים למודלים להתמקיד במידע רלוונטי בעת עיבוד קלטים, במיוחד בנתונים …

תשומת לב עצמית מאפשרת למודלים לתפוס תלות בין כל המיקומים ברצף בו זמנית, ללא קשר למרחק. על …