クロスモーダル
term_id: cross_modal
Category: basic_concepts
Definition
クロスモーダルAIは、視覚、聴覚、テキスト入力など、異なるモダリティからのデータを処理し相関させることを指します。これらのシステムは共通の表現を学習することで、異なるデータタイプ間の関係性を理解します。
Summary
テキストや画像など、異なる種類の感覚データ間で情報を統合・処理する技術。
Key Concepts
- マルチモーダル学習
- データ融合
- 共有埋め込み
- インターモーダルマッピング (異種間マッピング)
Use Cases
- 画像キャプション生成
- ビジュアル質問回答
- マルチモーダル検索