Transformer

Definition

Introdusert i artikkelen ‘Attention Is All You Need’, revolusjonerte Transformer-arkitekturen naturlig språkbehandling og mer. Den bruker flerhodet selvoppmerksomhet for å veie betydningen av

Summary

En dyp læringsarkitektur basert på selvoppmerksomhetsmekanismer som behandler sekvensielle data parallelt i stedet for sekvensielt.

Key Concepts

• Selvoppmerksomhet
• Flerhodet oppmerksomhet
• Posisjonell koding
• Koder-dekoder-struktur

Use Cases

• Maskinoversettelse
• Tekstgenerering
• Bilderekognisjon (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (oppmerksomhetsmekanisme)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (selvoppmerksomhet)