Zelfattentie

term_id: self_attention

Category: basic_concepts

Definition

Zelfattentie stelt modellen in staat om afhankelijkheden tussen alle posities in een sequentie tegelijkertijd vast te stellen, ongeacht de afstand. Door attentiescores te berekenen tussen elk paar tokens, maakt het…

Summary

Een mechanisme waarmee een neurale netwerk het belang van verschillende delen van de invoersequentie ten opzichte van elkaar kan wegen.

Key Concepts

  • Query-Key-Value
  • Attentiescores
  • Contextuele Weging
  • Parallelle Verwerking

Use Cases

  • Maskinevertaling
  • Tekstsamenvatting
  • Afbeeldingsclassificatie via Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related