Multimodal
term_id: multimodal
Category: application_paradigms
Definition
Multimodala AI-system integrerar information från olika sensoriska inmatningar för att bilda en mer omfattande förståelse av världen. Till skillnad från unimodala modeller som är begränsade till en datatyp, kan multimodala modeller kombinera insikter från olika modaliteter för bättre noggrannhet och kontextuell förståelse.
Summary
Avser AI-modeller som kan bearbeta och generera innehåll över flera datatyper, såsom text, bilder, ljud och video, samtidigt.
Key Concepts
- Korsmodal inlärning
- Datafusion
- Representationsinlärning
- Sensorisk inmatning
Use Cases
- Visuella frågesporter
- Videobeskrivning (captioning)
- Ljud-visuell taligenkänning