cross-modální
term_id: cross_modal
Category: basic_concepts
Definition
Cross-modální AI zahrnuje zpracování a korelaci dat z odlišných modalit, například kombinování vizuálních, sluchových a textových vstupů. Tyto systémy se učí sdílené reprezentace pro porozumění vztahům mezi různými typy dat…
Summary
Techniky integrující a zpracovávající informace z různých typů senzorických dat, jako je text a obrázky.
Key Concepts
- Vícemodalitní učení
- Slučování dat
- Sdílené vložení (embeddings)
- Mapování mezi modalitami
Use Cases
- Popisování obrázků
- Odpovídání na otázky založené na obrazech
- Vícemodalitní vyhledávání