Cơ chế chú ý
term_id: attention_mechanism
Category: basic_concepts
Definition
Cơ chế chú ý cho phép một mô hình cân nhắc tầm quan trọng của các yếu tố khác nhau trong một chuỗi đầu vào một cách động. Thay vì xử lý tất cả dữ liệu đầu vào như nhau, nó gán các mức độ ý nghĩa khác nhau
Summary
Một kỹ thuật cho phép mạng nơ-ron tập trung vào các phần cụ thể của dữ liệu đầu vào khi tạo ra kết quả.
Key Concepts
- Chú ý nội tại (Self-Attention)
- Vectơ ngữ cảnh
- Tổng có trọng số
- Kiến trúc Transformer
Use Cases
- Các mô hình dịch máy
- Tạo chú thích ảnh
- Tóm tắt văn bản