Itsehuomio

term_id: self_attention

Category: basic_concepts

Definition

Itsehuomio mahdollistaa mallien havaita riippuvuudet sekvenssin kaikkien sijaintien välillä samanaikaisesti etäisyydestä riippumatta. Laskemalla huomiopisteet jokaisen token-parin välillä se mahdollistaa…

Summary

Mekanismi, joka mahdollistaa neuroverkon painottaa eri osien merkitystä syötesequenssissä suhteessa toisiinsa.

Key Concepts

  • Kysely-Avo-Arvo
  • Huomiopisteet
  • Kontekstuaalinen painotus
  • Sivuttainen käsittely

Use Cases

  • Konstekstin kääntäminen
  • Tekstin tiivistäminen
  • Kuvan luokittelu Vision Transformer -malleilla

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related