Selvopmærksomhed

term_id: self_attention

Category: basic_concepts

Definition

Selvopmærksomhed gør det muligt for modeller at fange afhængigheder mellem alle positioner i en sekvens samtidigt, uanset afstand. Ved at beregne opmærksomhedsscorer mellem hvert par af tokens tillader det…

Summary

En mekanisme, der tillader et neuralt netværk at vægte vigtigheden af forskellige dele af inputsekvensen i forhold til hinanden.

Key Concepts

  • Query-Key-Value (Forespørgsels-Nøgle-Værdi)
  • Opmærksomhedsscorer
  • Kontekstuel vægtning
  • Parallel behandling

Use Cases

  • Maskinoversættelse
  • Tekstsammendrag
  • Billedklassificering via Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related