Transzformer

Definition

Az ‘Attention Is All You Need’ című cikkben bemutatott transzformer architektúra forradalmasította a természetes nyelvfeldolgozást és azon túlmutató területeket. Többfejű önmagára figyelést használ a jelentőség súlyozására.

Summary

Egy mélytanulási architektúra, amely az önmagára figyelő mechanizmusokon alapul, és párhuzamosan, nem pedig sorosan dolgozza fel a szekvenciális adatokat.

Key Concepts

• Önmagára figyelem
• Többfejű figyelem
• Pozicionális kódolás
• Kodoló-dekodoló szerkezet

Use Cases

• Gépi fordítás
• Szöveggenerálás
• Képfelismerés (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (figyelési mechanizmus)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (önfigyelem)