Selvoppmerksomhet

term_id: self_attention

Category: basic_concepts

Definition

Selvoppmerksomhet gjør det mulig for modeller å fange opp avhengigheter mellom alle posisjoner i en sekvens samtidig, uavhengig av avstand. Ved å beregne oppmerksomhetspoeng mellom hvert par av tokens, lar det…

Summary

En mekanisme som lar et nevralt nettverk veie viktigheten av ulike deler av inndatasekvensen i forhold til hverandre.

Key Concepts

  • Spørsmål-Nøkkel-Verdi
  • Oppmerksomhetspoeng
  • Kontekstuell vekting
  • Parallellprosessering

Use Cases

  • Maskinoversettelse
  • Tekstsammendrag
  • Bildeklassifisering via Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related