חצי-מודאלי (Cross-modal)
term_id: cross_modal
Category: basic_concepts
Definition
בינה מלאכותית חצי-מודאלית כוללת עיבוד והתאמה של נתונים ממודליות שונות, כגון שילוב קלטים ויזואליים, שמיעתיים וטקסטואליים. מערכות אלו לומשות ייצוגים משותפים כדי להבין קשרים בין סוגי מידע שונים.
Summary
טכניקות המשלבות ועובדות מידע מסוגי נתונים חושיים שונים, כמו טקסט ותמונות.
Key Concepts
- למידה מולטי-מודאלית
- מיזוג נתונים
- הטמעות משותפות (Shared Embeddings)
- מיפוי בין-מודאלי
Use Cases
- כיתוב תמונות (Image Captioning)
- מענה על שאלות ויזואליות (VQA)
- חיפוש מולטי-מודאלי