المحول

term_id: transformer

Category: basic_concepts

Definition

تم تقديم بنية المحول في ورقة بحثية بعنوان ‘الانتباه هو كل ما تحتاجه’، حيث أحدثت ثورة في معالجة اللغات الطبيعية وما بعدها. تستخدم هذه البنية انتباهاً ذاتياً متعدد الرؤوس لوزن أهمية

Summary

بنية للتعلم العميق تعتمد على آليات الانتباه الذاتي لمعالجة البيانات المتسلسلة بالتوازي بدلاً من التسلسل.

Key Concepts

  • الانتباه الذاتي
  • الانتباه متعدد الرؤوس
  • التشفير الموضعي
  • بنية المشفر-المفكك

Use Cases

  • الترجمة الآلية
  • توليد النصوص
  • التعرف على الصور (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related