Transformer

term_id: transformer

Category: basic_concepts

Definition

Introducerad i artikeln ‘Attention Is All You Need’, revolutionerade Transformer-arkitekturen naturlig språkbehandling och mer. Den använder flerkopplad självuppmärksamhet för att väga betydelsen av olika delar av indata, vilket tillåter effektiv hantering av långa beroenden i data.

Summary

En djupinlärningsarkitektur baserad på självuppmärksamhetsmekanismer som bearbetar sekventiell data parallellt snarare än sekventiellt.

Key Concepts

  • Självuppmärksamhet
  • Flerkoppad uppmärksamhet
  • Positionell kodning
  • Kodare-dekodare-struktur

Use Cases

  • Maskinöversättning
  • Textgenerering
  • Bildigenkänning (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related