التدريب المسبق التبايني للغة والصور
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
التدريب المسبق التبايني للغة والصور (CLIP) هو بنية شبكة عصبية تم تدريبها على الصور ووصفاتها النصية المقابلة لها من الإنترنت. يستخدم هدفاً تباينياً لتعظيم التشابه بين أزواج الصور والنصوص المتطابقة وتقليله للأزواج غير المتطابقة.
Summary
طريقة تدريب مسبق متعددة الوسائط لمحاذاة تمثيلات الصور والنصوص باستخدام دوال الخسارة التباينية.
Key Concepts
- التعلم متعدد الوسائط
- التشابه جيب التمام (Cosine Similarity)
- التصنيف بصفر عينات (Zero-shot Classification)
- بنية المشفر (Encoder Architecture)
Use Cases
- محركات البحث عن الصور
- توجيه توليد الصور من النصوص
- الإجابة على الأسئلة البصرية