Transformer

Definition

Introduceret i artiklen ‘Attention Is All You Need’, revolutionerede Transformer-arkitekturen naturlig sprogbehandling og mere. Den bruger multi-head selvaftemekanismer til at veje betydningen af

Summary

En dyb læringsarkitektur baseret på selvaftemekanismer, der behandler sekventielle data parallelt i stedet for sekventielt.

Key Concepts

• Selvopmærksomhed
• Multi-head opmærksomhed
• Positionel kodning
• Encoder-Decoder struktur

Use Cases

• Maskinoversættelse
• Tekstgenerering
• Anerkendelse af billeder (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (opmærksomhedsmekanisme)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (selvopmærksomhed)