Dataset: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup är en specialiserad delmängd av The Stack, ett massivt arkiv med öppen källkod. Det tillämpar rigorösa dedupliceringstekniker för att eliminera redundanta kodsnuttar som skulle kunna snedvrida stora språkmodeller.
Summary
En deduplicerad version av The Stack-datasettet, kuraterad av BigCode för att ta bort nästan identiska kodsnuttar för renare träningsdata.
Key Concepts
- Deduplicering
- Kod-LLM:er
- Datakvalitet
- The Stack
Use Cases
- Träning av kodgenereringsmodeller
- Benchmarking av kodningsförmåga
- Minskning av redundans vid träning