Kontrastní předvýcvik jazyka a obrazu
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
Kontrastní předvýcvik jazyka a obrazu (CLIP) je architektura neuronové sítě trénovaná na obrazech a jejich odpovídajících popiscích z internetu. Používá kontrastivní cíl k maximalizaci podobnosti mezi správnými páry obraz-text a minimalizaci podobnosti mezi nesprávnými páry.
Summary
Metoda předvýcviku pro více modalit, která zarovnává reprezentace obrazu a textu pomocí kontrastivních ztrátových funkcí.
Key Concepts
- Učení pro více modalit
- Koeficient kosinové podobnosti
- Klasifikace nulového zásahu
- Architektura enkodéru
Use Cases
- Vyhledávače obrázků
- Vedení generování text-obraz
- Odpovídání na otázky založené na vizuálech