Dönüştürücü (Transformer)

term_id: transformer

Category: basic_concepts

Definition

‘Attention Is All You Need’ makalesinde tanıtılan Dönüştürücü mimarisi, doğal dil işlemeyi ve ötesini devrim niteliğinde değiştirdi. Çok başlı öz-dikkat kullanarak, girdi dizisindeki farklı kelimeler veya öğeler arasındaki ilişkilerin önemini ölçer.

Summary

Sıralı veriyi ardışık olarak değil, paralel olarak işleyen öz-dikkat mekanizmalarına dayalı derin öğrenme mimarisi.

Key Concepts

  • Öz-Dikkat (Self-Attention)
  • Çok Başlı Dikkat
  • Konumsal Kodlama
  • Kodlayıcı-Kod Çözücü Yapısı

Use Cases

  • Makine çevirisi
  • Metin üretimi
  • Görüntü tanıma (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related