cross-modalny
term_id: cross_modal
Category: basic_concepts
Definition
Cross-modalna sztuczna inteligencja obejmuje przetwarzanie i korelację danych z różnych modali, takich jak łączenie wejść wizualnych, słuchowych i tekstowych. Systemy te uczą się wspólnych reprezentacji, aby zrozumieć relacje między różnymi typami danych…
Summary
Techniki integrujące i przetwarzające informacje z różnych typów danych sensorycznych, takich jak tekst i obrazy.
Key Concepts
- Uczenie multimodalne
- Fuzja danych
- Wspólne osadzenia (embeddings)
- Mapowanie inter-modalne
Use Cases
- Opisywanie obrazów
- Odpowiadanie na pytania dotyczące obrazów
- Wyszukiwanie multimodalne