Huấn luyện trước tương phản ngôn ngữ-hình ảnh
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
Huấn luyện trước tương phản ngôn ngữ-hình ảnh (CLIP) là một kiến trúc mạng nơ-ron được huấn luyện trên hình ảnh và chú thích tương ứng của chúng từ internet. Nó sử dụng mục tiêu tương phản để tối đa hóa sự phù hợp giữa các cặp hình ảnh-văn bản đúng và giảm thiểu sự phù hợp với các cặp sai.
Summary
Một phương pháp huấn luyện trước đa phương thức căn chỉnh biểu diễn hình ảnh và văn bản bằng cách sử dụng hàm mất mát tương phản.
Key Concepts
- Học đa phương thức
- Độ tương đồng cosine
- Phân loại zero-shot
- Kiến trúc bộ mã hóa
Use Cases
- Công cụ tìm kiếm hình ảnh
- Hướng dẫn tạo hình ảnh từ văn bản
- Trả lời câu hỏi dựa trên hình ảnh