Σύνολο Δεδομένων: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
Το The Stack Dedup είναι ένας εξειδικευμένος υποσύνολο του The Stack, μιας τεράστιας αποθήκης ανοιχτού κώδικα. Εφαρμόζει αυστηρές τεχνικές αφαίρεσης διπλοτύπων για να εξαλείψει τα περιττά αποσπάσματα κώδικα που θα μπορούσαν να προκαλέσουν μεροληψία σε μεγάλα μοντέλα γλώσσας.
Summary
Μια αφαιρεμένη από διπλότυπα έκδοση του συνόλου δεδομένων The Stack, επιμελημένη από τη BigCode για την αφαίρεση σχεδόν διπλότυπων αποσπασμάτων κώδικα για πιο καθαρά δεδομένα εκπαίδευσης.
Key Concepts
- Αφαίρεση Διπλοτύπων (Deduplication)
- LLMs Κώδικα (Code LLMs)
- Ποιότητα Δεδομένων (Data Quality)
- The Stack
Use Cases
- Εκπαίδευση μοντέλων δημιουργίας κώδικα
- Διερεύνηση ικανοτήτων προγραμματισμού
- Μείωση της επικάλυψης κατά την εκπαίδευση