Perhatian Diri

term_id: self_attention

Category: basic_concepts

Definition

Perhatian diri memungkinkan model menangkap ketergantungan antara semua posisi dalam suatu urutan secara bersamaan, terlepas dari jaraknya. Dengan menghitung skor perhatian antara setiap pasangan token, mekanisme ini memungkinkan…

Summary

Sebuah mekanisme yang memungkinkan jaringan saraf menimbang pentingnya bagian-bagian berbeda dari urutan input relatif satu sama lain.

Key Concepts

  • Query-Key-Value (Kueri-Kunci-Nilai)
  • Skor Perhatian
  • Pemberatan Kontekstual
  • Pemrosesan Paralel

Use Cases

  • Terjemahan mesin
  • Ringkasan teks
  • Klasifikasi gambar melalui Transformer Visi

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related