Đa phương thức
term_id: multimodal
Category: application_paradigms
Definition
Các hệ thống AI đa phương thức tích hợp thông tin từ các đầu vào giác quan khác nhau để hình thành sự hiểu biết toàn diện hơn về thế giới. Không giống như các mô hình đơn phương thức bị giới hạn ở một loại dữ liệu, các mô hình đa phương thức có thể liên kết và chuyển đổi giữa các dạng dữ liệu, cho phép các ứng dụng phong phú hơn như trả lời câu hỏi dựa trên hình ảnh hoặc tạo phụ đề video.
Summary
Chỉ các mô hình AI có khả năng xử lý và tạo nội dung trên nhiều loại dữ liệu khác nhau, chẳng hạn như văn bản, hình ảnh, âm thanh và video cùng lúc.
Key Concepts
- Học chéo phương thức
- Hợp nhất dữ liệu
- Học biểu diễn
- Đầu vào giác quan
Use Cases
- Trả lời câu hỏi trực quan
- Tạo phụ đề video
- Nhận dạng giọng nói âm thanh-hình ảnh