Transformátor

Definition

Zavedená v článku ‘Attention Is All You Need’, architektura Transformátoru revolucionalizovala zpracování přirozeného jazyka a další oblasti. Používá vícebuněčnou sebevědomou pozornost k vážení významu

Summary

Architektura hlubokého učení založená na mechanismu sebevědomé pozornosti (self-attention), která zpracovává sekvenční data paralelně místo postupně.

Key Concepts

• Sebevědomá pozornost (Self-Attention)
• Vícebuněčná pozornost (Multi-Head Attention)
• Polohové kódování (Positional Encoding)
• Struktura enkodér-dekodér

Use Cases

• Strojový překlad
• Generování textu
• Rozpoznávání obrázků (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (Mechanismus pozornosti)
• bert (Bidirectional Encoder Representations from Transformers)
• gpt (Generative Pre-trained Transformer)
• self_attention (Sebevědomá pozornost)