הכנה מקדימה מנוגדת לשפה ותמונה (CLIP)
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
הכנה מקדימה מנוגדת לשפה ותמונה (CLIP) היא ארכיטקטורת רשת נוירונים שאומנה על תמונות וכיתובים המתאימים להן מהאינטרנט. היא משתמשת במטרה ניגודית כדי למקסם את ההתאמה בין זוגות תמונה-טקסט תואמים ולהפחית את ההתאמה בין זוגות לא תואמים.
Summary
שיטת הכנה מקדימה רב-מודאלית המיישרת ייצוגים של תמונות וטקסט באמצעות פונקציות הפסד ניגודיות.
Key Concepts
- למידה רב-מודאלית
- דמיון קוסינוס (Cosine Similarity)
- מיון Zero-shot
- ארכיטקטורה של מקודד (Encoder Architecture)
Use Cases
- מנועי חיפוש תמונות
- הנחיית יצירת תמונות מטקסט
- מענה על שאלות ויזואליות