Attention (Perhatian)
term_id: attention
Category: training_techniques
Definition
Mekanisme attention memungkinkan model untuk fokus pada informasi yang relevan saat memproses input, khususnya dalam data sekuensial seperti teks. Dengan menghitung skor perhatian, model menentukan elemen mana…
Summary
Mekanisme yang memungkinkan jaringan saraf memberi bobot pada pentingnya bagian-bagian berbeda dari urutan input secara dinamis.
Key Concepts
- Self-Attention (Perhatian Diri)
- Pemberian Bobot Kontekstual
- Ketergantungan Jarak Jauh
- Arsitektur Transformer
Use Cases
- Terjemahan mesin antar bahasa
- Meringkas dokumen panjang
- Pemberian keterangan gambar dan pertanyaan visual