Cơ chế chú ý
term_id: attention
Category: training_techniques
Definition
Các cơ chế chú ý cho phép mô hình tập trung vào thông tin liên quan khi xử lý đầu vào, đặc biệt là trong dữ liệu tuần tự như văn bản. Bằng cách tính toán điểm chú ý, mô hình xác định phần tử nào…
Summary
Một cơ chế cho phép mạng nơ-ron cân nhắc tầm quan trọng của các phần khác nhau trong chuỗi đầu vào một cách động.
Key Concepts
- Chú ý nội tại
- Cân nặng ngữ cảnh
- Phụ thuộc khoảng cách dài
- Kiến trúc Transformer
Use Cases
- Dịch máy giữa các ngôn ngữ
- Tóm tắt tài liệu dài
- Mô tả hình ảnh và trả lời câu hỏi trực quan