Öz-Dikkat

term_id: self_attention

Category: basic_concepts

Definition

Öz-dikkat, mesafeden bağımsız olarak bir dizideki tüm konumlar arasındaki bağımlılıkları aynı anda yakalamayı sağlar. Her token çifti arasında dikkat skorları hesaplayarak bağlamsal ağırlıklandırmaya izin verir.

Summary

Bir sinir ağına, girdi dizisinin farklı parçalarının birbirine göre önem derecesini ağırlıklandırmasına olanak tanıyan mekanizma.

Key Concepts

  • Sorgu-Anahtar-Değer
  • Dikkat Skorları
  • Bağlamsal Ağırlıklandırma
  • Paralel İşlem

Use Cases

  • Makine çevirisi
  • Metin özetleme
  • Görüş Transformer’ları aracılığıyla görüntü sınıflandırma

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related