Multimodal
term_id: muiltimodal
Category: basic_concepts
Definition
Inom artificiell intelligens beskriver multimodalitet förmågan hos en modell att förstå, generera eller korrelera information över olika sensoriska indata eller dataformat. Till skillnad från unimodala modeller
Summary
Multimodal avser AI-system som bearbetar och integrerar flera typer av datamodaler, såsom text, bilder och ljud, samtidigt.
Key Concepts
- Datafusion
- Korsmodal alignering
- Enad representation
- Sensorintegration
Use Cases
- Bildtextning och visuella frågesporter
- Videoförståelse med ljudkontext
- Medicinsk diagnostik som kombinerar skanningar och journaler