Pra-pelatihan Kontrastif Bahasa-Gambar
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
Pra-pelatihan Kontrastif Bahasa-Gambar (CLIP) adalah arsitektur jaringan saraf yang dilatih pada gambar dan caption yang sesuai dari internet. Metode ini menggunakan tujuan kontrastif untuk memaksimalkan kesamaan antara pasangan gambar-teks yang relevan dan meminimalkannya untuk pasangan yang tidak relevan, sehingga memungkinkan generalisasi yang kuat.
Summary
Metode pra-pelatihan multimodal yang menyelaraskan representasi gambar dan teks menggunakan fungsi kerugian kontrastif.
Key Concepts
- Pembelajaran Multimodal
- Kesamaan Kosinus
- Klasifikasi Zero-shot
- Arsitektur Enkoder
Use Cases
- Mesin pencari gambar berbasis teks
- Panduan generasi teks-ke-gambar
- Jawaban pertanyaan visual