Mekanisme Perhatian
term_id: attention_mechanism
Category: basic_concepts
Definition
Mekanisme perhatian memungkinkan model untuk secara dinamis menimbang pentingnya elemen-elemen berbeda dalam urutan input. Daripada memperlakukan semua data input secara setara, mekanisme ini menetapkan tingkat signifikansi yang bervariasi.
Summary
Sebuah teknik yang memungkinkan jaringan saraf untuk fokus pada bagian tertentu dari data input saat menghasilkan output.
Key Concepts
- Perhatian Mandiri
- Vektor Konteks
- Jumlah Tertimbang
- Arsitektur Transformer
Use Cases
- Model terjemahan mesin
- Pembuatan keterangan gambar
- Ringkasan teks