Transformer

term_id: transformer

Category: basic_concepts

Definition

Εισήχθη στο άρθρο ‘Attention Is All You Need’, η αρχιτεκτονική Transformer επαναστάτησε στην επεξεργασία φυσικής γλώσσας και πέραν αυτής. Χρησιμοποιεί πολλαπλή αυτο-προσοχή για να ζυγίζει τη σημασία των

Summary

Μια αρχιτεκτονική βαθιάς μάθησης βασισμένη σε μηχανισμούς αυτο-προσοχής που επεξεργάζεται δεδομένα ακολουθίας παράλληλα αντί για διαδοχικά.

Key Concepts

  • Αυτο-Προσοχή
  • Πολυκεφαλή Προσοχή
  • Θέση Κωδικοποίησης
  • Δομή Κωδικοποιητή-Αποκωδικοποιητή

Use Cases

  • Μηχανική μετάφραση
  • Γενολογία κειμένου
  • Αναγνώριση εικόνας (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related