Cơ chế chú ý nội tại

term_id: self_attention

Category: basic_concepts

Definition

Cơ chế chú ý nội tại cho phép các mô hình nắm bắt các phụ thuộc giữa tất cả các vị trí trong một chuỗi đồng thời, bất kể khoảng cách. Bằng cách tính toán điểm số chú ý giữa mọi cặp token, nó cho phép…

Summary

Một cơ chế cho phép mạng nơ-ron cân nhắc tầm quan trọng của các phần khác nhau trong chuỗi đầu vào so với nhau.

Key Concepts

  • Truy vấn - Khóa - Giá trị (Query-Key-Value)
  • Điểm số chú ý
  • Cân nặng ngữ cảnh
  • Xử lý song song

Use Cases

  • Dịch máy
  • Tóm tắt văn bản
  • Phân loại ảnh thông qua Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related