Dataset:Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup adalah subset khusus dari The Stack, sebuah repositori besar kode sumber terbuka. Dataset ini menerapkan teknik deduplikasi yang ketat untuk menghilangkan potongan kode redundan yang dapat membiaskan model bahasa besar (LLM) saat dilatih.
Summary
Versi deduplikasi dari dataset The Stack, yang dikurasi oleh BigCode untuk menghapus potongan kode yang hampir identik guna menghasilkan data pelatihan yang lebih bersih.
Key Concepts
- Deduplikasi
- LLM Kode
- Kualitas Data
- The Stack
Use Cases
- Melatih model generasi kode
- Benchmarking kemampuan pemrograman
- Mengurangi redundansi pelatihan