Multi Modality
term_id: multi_modality
Category: basic_concepts
Definition
Multi-modalitet repræsenterer den arkitektoniske og teoretiske ramme, der muliggør for AI-modeller at håndtere heterogene datastrømme. Det indebærer design af neurale netværk, der kan acceptere input fra forskellige
Summary
Multi Modality er det overordnede koncept eller forskningsfelt vedrørende brugen af flere forskellige datatyper inden for maskinlæringsarkitekturer.
Key Concepts
- Heterogen data
- Latent rum-tilpasning
- Modalitetsspecifikke encodere
- Opmærksomhedsmekanismer (Attention mechanisms)
Use Cases
- Perceptionssystemer til autonom kørsel
- Flersproget oversættelse med talegenkendelse
- Indholdsmoderation, der analyserer tekst og billeder