Többmodális
term_id: multimodal
Category: application_paradigms
Definition
A többmodális AI-rendszerek különböző érzéki bemenetekből származó információt integrálnak átfogóbb világkép kialakítása érdekében. Ellentétben az egymodális modellekkel, amelyek csak egy adattípusra korlátozódnak, a többmodális modellek képesek átlépni a modalitások között.
Summary
Olyan AI-modellekre utal, amelyek képesek egyszerre többféle adattípust, például szöveget, képet, hangot és videót feldolgozni és generálni.
Key Concepts
- Keresztmodális tanulás
- Adatfúzió
- Jelöléstanulás
- Érzéki bemenet
Use Cases
- Vizuális kérdésválasztás
- Videófeliratozás
- Hang-vizuális beszédfelismerés