Muunnin

Definition

Muunninarkkitehtuuri, joka esiteltiin artikkelissa “Attention Is All You Need”, muutti kokonaan luonnollisen kielen käsittelyn ja sen ulkopuoliset alueet. Se käyttää monipäistä itsehuomiota punotakseen yhteen syvällisiä yhteyksiä datassa.

Summary

Syväoppimisarkkitehtuuri, joka perustuu itsehuomion mekanismeihin ja käsittelee sekvenssidataa rinnakkain peräkkäisen sijaan.

Key Concepts

• Itsehuomio
• Monipäinen huomio
• Paikallinen koodaus
• Kooderi-dekooderi-rakenne

Use Cases

• Konemielikäännös
• Tekstin generointi
• Kuvantunnistus (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related Terms

• attention_mechanism (huomiomekanismi)
• bert (Bidirectional Encoder Representations from Transformers -malli)
• gpt (Generative Pre-trained Transformer -malli)
• self_attention (itsehuomio)