רב-מודאלי

term_id: muiltimodal

Category: basic_concepts

Definition

בבינה מלאכותית, רב-מודאליות מתארת את היכולת של מודל להבין, לייצר או לקשר בין מידע הגורם ממקורות חושים שונים או פורמטים של נתונים מגוונים. בניגוד למודלים חד-מודאליים, מערכות אלו מסוגלות לעבד אינטראקציות מורכבות הכוללות יותר משני ערוצי קלט בודדים.

Summary

מונח המתאר מערכות בינה מלאכותית המעבדות ומשלבות מספר סוגי נתונים (מודאליות) בו זמנית, כגון טקסט, תמונות ושמע.

Key Concepts

  • מיזוג נתונים
  • יישור בין-מודאלי
  • ייצוג מאוחד
  • אינטגרציה של חיישנים

Use Cases

  • כיתוב תמונות ושאלות על תמונות
  • הבנת וידאו בהקשר של שמע
  • אבחון רפואי המשלב סריקות ותיקים רפואיים