الانتباه الذاتي

term_id: self_attention

Category: basic_concepts

Definition

يتيح الانتباه الذاتي للنماذج التقاط التبعيات بين جميع المواقع في التسلسل في وقت واحد، بغض النظر عن المسافة. من خلال حساب درجات الانتباه بين كل زوج من الرموز، يتيح ذلك…

Summary

آلية تسمح للشبكة العصبية بوزن أهمية أجزاء مختلفة من تسلسل الإدخال بالنسبة لبعضها البعض.

Key Concepts

  • الاستعلام-المفتاح-القيمة
  • درجات الانتباه
  • الوزن السياقي
  • المعالجة المتوازية

Use Cases

  • الترجمة الآلية
  • تلخيص النصوص
  • تصنيف الصور عبر محولات الرؤية (Vision Transformers)

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related