Transformer

term_id: transformer

Category: basic_concepts

Definition

Transformer架构在《Attention Is All You Need》论文中被提出，彻底革新了自然语言处理及更多领域。它使用多头自注意力机制来权衡输入序列中不同部分的重要性。

Summary

一种基于自注意力机制的深度学习架构，能够并行而非顺序地处理序列数据。

Key Concepts

  • 自注意力
  • 多头注意力
  • 位置编码
  • 编码器-解码器结构

Use Cases

  • 机器翻译
  • 文本生成
  • 图像识别（ViT）

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related