Multimodal repræsentationslæring
term_id: multimodal_representation_learning
Category: training_techniques
Definition
Multimodal repræsentationslæring indebærer træning af modeller til at behandle og integrere information fra forskellige typer datakilder, såsom tekst, billeder, lyd og video, i et delt latent rum.
Summary
En teknik, der lærer fælles funktionelle repræsentationer fra flere datamodaler samtidigt.
Key Concepts
- Tværs-model tilpasning
- Delt latent rum
- Funktionsfusion
- Modalitetsspecifikke kodere
Use Cases
- Billedtekstning
- Videogenfinding
- Visuel spørgsmålssvar