Självuppmärksamhet

term_id: self_attention

Category: basic_concepts

Definition

Självuppmärksamhet gör det möjligt för modeller att fånga beroenden mellan alla positioner i en sekvens samtidigt, oavsett avstånd. Genom att beräkna uppmärksamhetspoäng mellan varje par av token möjliggör det…

Summary

En mekanism som låter ett neuralt nätverk väga vikten av olika delar av insökvensen i förhållande till varandra.

Key Concepts

  • Fråga-Nyckel-Värde
  • Uppmärksamhetspoäng
  • Kontextuell viktning
  • Parallell bearbetning

Use Cases

  • Maskinöversättning
  • Textsammanfattning
  • Bildklassificering via Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related