الانتباه (Attention)
term_id: attention
Category: training_techniques
Definition
تتيح آليات الانتباه للنماذج التركيز على المعلومات ذات الصلة عند معالجة المدخلات، خاصة في البيانات المتسلسلة مثل النص. من خلال حساب درجات الانتباه، يحدد النموذج أي عناصر المدخلات تستحق تركيزاً أكبر.
Summary
آلية تسمح للشبكات العصبية بوزن أهمية أجزاء مختلفة من تسلسل الإدخال ديناميكياً.
Key Concepts
- الانتباه الذاتي
- الوزن السياقي
- التبعيات طويلة المدى
- الهندسة المعمارية للمحول
Use Cases
- الترجمة الآلية بين اللغات
- تلخيص الوثائق الطويلة
- وصف الصور والإجابة على الأسئلة البصرية