Veri Seti: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup, açık kaynaklı kodlardan oluşan devasa bir depo olan The Stack’in özelleştirilmiş bir alt kümesidir. Büyük dil modellerinin yanlı öğrenmesini önlemek için gereksiz kod parçacıklarını elemek amacıyla sıkı tekrarlar açısından arındırma teknikleri uygular.
Summary
BigCode tarafından temiz bir eğitim verisi sağlamak amacıyla neredeyse kopya kod parçacıklarının kaldırılmasıyla düzenlenmiş, The Stack veri setinin tekrarlar açısından arındırılmış versiyonu.
Key Concepts
- Tekrarları Temizleme (Deduplication)
- Kod Dil Modelleri (Code LLMs)
- Veri Kalitesi
- The Stack
Use Cases
- Kod üretimi modellerinin eğitimi
- Kodlama yeteneklerinin değerlendirilmesi
- Eğitimdeki gereksiz tekrarların azaltılması