Kontrastowe wstępne szkolenie językowo-obrazowe
term_id: contrastive_languageimage_pre_training
Category: training_techniques
Definition
Kontrastowe wstępne szkolenie językowo-obrazowe (CLIP) to architektura sieci neuronowej trenowana na obrazach i odpowiadających im podpisach zebranych z internetu. Wykorzystuje ona cel kontrastowy do maksymalizacji zgodności między powiązanymi parami obraz-tekst.
Summary
Wielomodułowa metoda wstępnego szkolenia, która dostosowuje reprezentacje obrazu i tekstu za pomocą funkcji straty kontrastowej.
Key Concepts
- Uczenie wielomodułowe
- Podobieństwo kosinusowe
- Klasyfikacja zero-shot
- Architektura enkodera
Use Cases
- Silniki wyszukiwania obrazów
- Kierowanie generowaniem obrazów z tekstu
- Odpowiadanie na pytania wizualne