다중 모달리티
term_id: multi_modality
Category: basic_concepts
Definition
다중 모달리티는 AI 모델이 이질적인 데이터 스트림을 처리할 수 있도록 하는 아키텍처 및 이론적 프레임워크를 나타냅니다. 이는 다양한 소스에서 입력을 수용하고 통합할 수 있는 신경망 설계를 포함하며, 서로 다른 모달리티 간의 관계를 학습하는 것을 목표로 합니다.
Summary
다중 모달리티는 머신러닝 아키텍처 내에서 여러 가지 서로 다른 데이터 타입을 사용하는 광범위한 개념 또는 연구 분야입니다.
Key Concepts
- 이질적 데이터
- 잠재 공간 정렬
- 모달리티별 인코더
- 어텐션 메커니즘
Use Cases
- 자율주행차 지각 시스템
- 음성 인식이 포함된 다국어 번역
- 텍스트와 이미지를 분석하는 콘텐츠 검열