قصّ القيم
term_id: clip
Category: engineering_practice
Definition
في هندسة التعلم العميق، يُطبق القصّ بشكل شائع على التدرجات للتخفيف من مشكلة انفجار التدرجات، مما يضمن استقرار الانتشار العكسي. يمكن أن يشير أيضاً إلى تحديد حدود اللوغيتات (logits) للمخرجات قبل
Summary
القصّ (Clipping) هو تقنية تُستخدم لتقييد مقدار القيم، مثل التدرجات أو احتمالات المخرجات، لمنع عدم الاستقرار العددي أثناء التدريب.
Key Concepts
- قص التدرجات
- الاستقرار العددي
- انفجار التدرجات
- التنظيم
Use Cases
- تدريب الشبكات العصبية المتكررة
- استقرار تدريب المحولات (Transformers)
- منع تباعد دالة الخسارة