Kontrasztív nyelvi-képi előzetes tanítás
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
A Kontrasztív Nyelvi-Képi Előzetes Tanítás (CLIP) egy neurális hálózati architektúra, amelyet az internetről származó képekről és azok megfelelő feliratairól tanítanak. Kontrasztív célfüggvényt használ annak maximalizálására, hogy a megfelelő szöveg-kép párok közötti hasonlóság nagy legyen, míg a nem megfelelő párok közötti hasonlóság kicsi maradjon.
Summary
Egy multimodális előzetes tanítási módszer, amely kontrasztív veszteségfüggvényekkel igazítja össze a képek és a szöveg reprezentációit.
Key Concepts
- Multimodális tanulás
- Ko-szinusz hasonlóság
- Nulla-lövéses osztályozás
- Kódoló architektúra
Use Cases
- Képkutató motorok
- Szöveg-kép generálás irányítása
- Vizuális kérdések megválaszolása