对比式语言-图像预训练

term_id: contrastive_languageimage_pre_training

Category: training_techniques

Definition

对比式语言-图像预训练（CLIP）是一种在图像及其对应的互联网标题上训练的神经网络架构。它使用对比目标来最大化共现（图像-文本对的相似度）。

Summary

一种多模态预训练方法，使用对比损失函数对齐图像和文本表示。

Key Concepts

  • 多模态学习
  • 余弦相似度
  • 零样本分类
  • 编码器架构

Use Cases

  • 图像搜索引擎
  • 文生图生成指导
  • 视觉问答

Related