Tính đa phương thức
term_id: multi_modality
Category: basic_concepts
Definition
Tính đa phương thức đại diện cho khung kiến trúc và lý thuyết cho phép các mô hình AI xử lý các luồng dữ liệu dị biệt. Nó liên quan đến việc thiết kế các mạng nơ-ron có thể chấp nhận đầu vào từ nhiều nguồn khác nhau
Summary
Tính đa phương thức là khái niệm rộng lớn hơn hoặc lĩnh vực nghiên cứu về việc sử dụng nhiều loại dữ liệu khác biệt trong các kiến trúc học máy.
Key Concepts
- Dữ liệu dị biệt
- Căn chỉnh không gian ẩn
- Bộ mã hóa theo phương thức
- Cơ chế chú ý
Use Cases
- Hệ thống nhận thức trong xe tự hành
- Dịch đa ngôn ngữ kết hợp nhận dạng giọng nói
- Kiểm duyệt nội dung phân tích cả văn bản và hình ảnh