Transformer

term_id: transformer

Category: basic_concepts

Definition

Introdus în lucrarea ‘Attention Is All You Need’, arhitectura Transformer a revoluționat procesarea limbajului natural și nu numai. Aceasta utilizează auto-atenția multi-cap pentru a pondera semnificația

Summary

O arhitectură de învățare profundă bazată pe mecanisme de auto-atenție care procesează datele secvențiale în paralel, nu secvențial.

Key Concepts

  • Auto-atenție
  • Atenție multi-cap
  • Codificare pozițională
  • Structură encoder-decoder

Use Cases

  • Traducere automată
  • Generare de text
  • Recunoaștere de imagini (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related