Transformer

Definition

Geïntroduceerd in het artikel ‘Attention Is All You Need’, heeft de Transformer-architectuur de natuurlijke taalverwerking en daarbuiten revolutionair veranderd. Het gebruikt multi-head zelfattentie om het belang van

Summary

Een diepe leerarchitectuur gebaseerd op zelfattentie-mechanismen die sequentiële gegevens parallel verwerkt in plaats van sequentieel.

Key Concepts

• Zelfattentie
• Multi-Head Attentie
• Positievecodering
• Encoder-Decoder Structuur

Use Cases

• Maskinevertaling
• Tekstgeneratie
• Beeldherkenning (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (attentie-mechanisme)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (zelfattentie)