트랜스포머

term_id: transformer

Category: basic_concepts

Definition

‘Attention Is All You Need’ 논문에서 소개된 트랜스포머 아키텍처는 자연어 처리 및 그 이상의 분야를 혁신했습니다. 이는 다중 헤드 자기 주의(multi-head self-attention)를 사용하여 각 요소의 중요도에 가중치를 부여합니다.

Summary

순차적 데이터가 순차적으로가 아니라 병렬로 처리되도록 하는 자기 주의 메커니즘(self-attention) 기반의 딥러닝 아키텍처입니다.

Key Concepts

  • 자기 주의(Self-Attention)
  • 다중 헤드 주의(Multi-Head Attention)
  • 위치 인코딩(Positional Encoding)
  • 인코더-디코더 구조

Use Cases

  • 기계 번역
  • 텍스트 생성
  • 이미지 인식(ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related