Transformer

term_id: transformer

Category: basic_concepts

Definition

Được giới thiệu trong bài báo ‘Attention Is All You Need’, kiến trúc Transformer đã cách mạng hóa xử lý ngôn ngữ tự nhiên và nhiều lĩnh vực khác. Nó sử dụng cơ chế tự chú ý đa đầu để đánh giá mức độ quan trọng của

Summary

Một kiến trúc học sâu dựa trên cơ chế tự chú ý, xử lý dữ liệu tuần tự song song thay vì tuần tự.

Key Concepts

  • Tự chú ý
  • Chú ý đa đầu
  • Mã hóa vị trí
  • Cấu trúc Bộ mã hóa - Bộ giải mã

Use Cases

  • Dịch máy
  • Tạo văn bản
  • Nhận diện hình ảnh (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related