مجموعة البيانات: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
يُعد The Stack Dedup مجموعة فرعية متخصصة من The Stack، وهو مستودع ضخم للكود المصدري مفتوح المصدر. تطبق هذه المجموعة تقنيات صارمة لإزالة التكرارات للقضاء على مقتطفات الكود الزائدة التي قد تحيز النماذج اللغوية الكبيرة.
Summary
نسخة مُزالة التكرار من مجموعة بيانات The Stack، قام بإعدادها مشروع BigCode لإزالة مقتطفات الكود المتشابهة جداً للحصول على بيانات تدريب أنظف.
Key Concepts
- إزالة التكرار
- نماذج لغوية للكود (Code LLMs)
- جودة البيانات
- The Stack
Use Cases
- تدريب نماذج توليد الكود
- قياس قدرات البرمجة كمعيار
- تقليل التكرار في التدريب