Karşıtlıklı Dil-Görüntü Ön Eğitimi
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
Karşıtlıklı Dil-Görüntü Ön Eğitimi (CLIP), internetteki görüntüler ve karşılık gelen açıklamalardan eğitilen bir sinir ağı mimarisidir. Karşıtlık hedefini kullanarak, aynı görüntüyü temsil eden metin ve görsel vektörleri birbirine yaklaştırırken, eşleşmeyen çiftleri birbirinden uzaklaştırarak ortak bir özellik uzayında hizalama sağlar.
Summary
Görüntü ve metin temsillerini karşıtlık kaybı fonksiyonları kullanarak hizalayan çok modlu bir ön eğitim yöntemi.
Key Concepts
- Çok Modlu Öğrenme
- Kosinüs Benzerliği
- Sıfır Atış Sınıflandırma (Zero-shot Classification)
- Öncü Mimarisi (Encoder Architecture)
Use Cases
- Görsel arama motorları
- Metinden görsele üretim rehberliği
- Görsel soru-cevap sistemleri