דאטהסט: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup הוא תת-קבוצה מיוחדת של The Stack, מאגר עצום של קוד מקור פתוח. הוא מחיל טכניקות קפדניות להסרת כפילויות כדי למנוע קטעי קוד חוזרים שעלולים להטות את אימון מודלי שפה גדולים (LLMs).
Summary
גרסה מנוקה (ללא כפילויות) של דאטהסט The Stack, שנוצרה על ידי BigCode כדי להסיר קטעי קוד כמעט זהים ולקבל נתוני אימון נקיים יותר.
Key Concepts
- הסרת כפילויות (Deduplication)
- LLMs לקוד (Code LLMs)
- איכות נתונים (Data Quality)
- The Stack
Use Cases
- אימון מודלים ליצירת קוד
- מדידת יכולות קידוד (Benchmarking)
- הפחתת חזרות באימון