Multimodal
term_id: muiltimodal
Category: basic_concepts
Definition
Dalam kecerdasan buatan, multimodalitas menggambarkan kemampuan sebuah model untuk memahami, menghasilkan, atau menghubungkan informasi di berbagai input sensorik atau format data. Berbeda dengan model unimodal,
Summary
Multimodal mengacu pada sistem AI yang memproses dan mengintegrasikan berbagai jenis modalitas data, seperti teks, gambar, dan audio, secara bersamaan.
Key Concepts
- Fusi Data
- Penyelarasan Lintas-Modalitas
- Representasi Terpadu
- Integrasi Sensor
Use Cases
- Pembuatan keterangan gambar dan pertanyaan visual
- Pemahaman video dengan konteks audio
- Diagnosis medis yang menggabungkan hasil pemindaian dan rekam medis pasien
Related Terms
- Multi Modality (Konsep luas tentang penggunaan beberapa jenis data berbeda dalam arsitektur pembelajaran mesin)
- Computer Vision (Bidang studi yang memungkinkan komputer ‘melihat’ dan memahami gambar/video)
- Natural Language Processing (Teknologi yang memungkinkan komputer memahami dan memproses bahasa manusia)
- Feature Embedding (Proses mengubah data diskrit menjadi vektor numerik kontinu)