Multi Modality
term_id: multi_modality
Category: basic_concepts
Definition
Multi modalitet representerer den arkitektoniske og teoretiske rammen som muliggjør at AI-modeller kan håndtere heterogene datastrømmer. Det involverer design av nevrale nettverk som kan ta imot inndata fra ulike
Summary
Multi Modality er det bredere konseptet eller forskningsfeltet som omhandler bruken av flere distinkte datatyper innen maskinlæringsarkitekturer.
Key Concepts
- Heterogen data
- Latent rom-tilpasning
- Modalitetsspesifikke kodere
- Oppmerksomhetsmekanismer
Use Cases
- Percepsjonssystemer for autonom kjøring
- Flerspråklig oversetting med talegjenkjenning
- Innholdsmoderasjon som analyserer tekst og bilder