modaaliraja-yli
term_id: cross_modal
Category: basic_concepts
Definition
Modaaliraja-yli-tekoäly käsittää erilaisten modaaliteettien, kuten visuaalisen, auditiivisen ja tekstimuotoisen datan, käsittelyn ja korreloinnin. Nämä järjestelmät oppivat yhteisiä esityksiä ymmärtääkseen näiden eri tietolähteiden välisiä suhteita…
Summary
Tekniikat, jotka integroivat ja käsittelevät tietoa eri aistinvaraisista datatyypeistä, kuten tekstistä ja kuvista.
Key Concepts
- Monimodaalinen oppiminen
- Datayhdistely
- Yhteiset upotteet (embeddings)
- Modaalien välinen kartitus
Use Cases
- Kuvatekstitys
- Visuaalinen kysymysten vastaus
- Monimodaalinen haku