Çoklu Baş Dikkati

term_id: multi_head_attention

Category: basic_concepts

Definition

Çoklu Baş Dikkati, standart dikkat mekanizmasını farklı öğrenilmiş doğrusal projeksiyonlarla paralel olarak birden fazla kez çalıştırarak genişletir. Bu, modelin çeşitli bilgilerin alt temsillerine eş zamanlı olarak odaklanmasını sağlar.

Summary

Modelin farklı temsil alt uzaylarından bilgiye aynı anda dikkat etmesine olanak tanıyan dönüştürücü modellerdeki bir mekanizmadır.

Key Concepts

  • Öz-Dikkat
  • Doğrusal Projeksiyonlar
  • Birleştirme (Concatenation)

Use Cases

  • Doğal Dil İşleme (NLP)
  • Makine Çevirisi
  • Görünüm Dönüştürücüleri ile Görüntü Sınıflandırma

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.num_heads = num_heads
        self.d_k = d_model // num_heads
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)

    def forward(self, x):
        # Simplified forward pass logic
        pass

Related