跨模态(cross-modal)

term_id: cross_modal

Category: basic_concepts

Definition

跨模态人工智能涉及处理和关联来自不同模态的数据,例如结合视觉、听觉和文本输入。这些系统学习共享表示以理解关系…

Summary

整合和处理不同感官数据类型(如文本和图像)信息的 techniques。

Key Concepts

  • 多模态学习
  • 数据融合
  • 共享嵌入
  • 模态间映射

Use Cases

  • 图像描述生成
  • 视觉问答
  • 多模态搜索