Transformer

Definition

Diperkenalkan dalam makalah ‘Attention Is All You Need’, arsitektur Transformer merevolusi pemrosesan bahasa alami dan bidang lainnya. Arsitektur ini menggunakan perhatian-diri multi-kepala untuk menimbang signifikansi dari

Summary

Arsitektur pembelajaran mendalam berbasis mekanisme perhatian-diri (self-attention) yang memproses data sekuensial secara paralel, bukan sekuensial.

Key Concepts

• Perhatian-Diri (Self-Attention)
• Perhatian Multi-Kepala (Multi-Head Attention)
• Enkoding Posisi (Positional Encoding)
• Struktur Encoder-Decoder

Use Cases

• Terjemahan mesin
• Pembuatan teks
• Pengenalan gambar (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (mekanisme perhatian)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (perhatian-diri)