Multi Modality
term_id: multi_modality
Category: basic_concepts
Definition
Multi modalitet representerar den arkitektoniska och teoretiska ramverket som möjliggör för AI-modeller att hantera heterogena dataströmmar. Det innebär att utforma neurala nätverk som kan ta emot indata från olika
Summary
Multi Modality är det bredare konceptet eller forskningsfältet som rör användningen av flera distinkta datatyper inom maskininlärningsarkitekturer.
Key Concepts
- Heterogen data
- Latent rumsalignering
- Modalitetsspecifika kodare
- Uppmärksamhetsmekanismer
Use Cases
- Perceptionssystem för autonoma fordon
- Flerspråkig översättning med taligenkänning
- Innehållsmoderering som analyserar text och bilder