Datasett: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup er et spesialisert delmengde av The Stack, et massivt arkiv med åpen kildekode. Den anvender strenge dedupliseringsteknikker for å eliminere redundante kodeutdrag som kunne forvrengt store språkmodeller.
Summary
En deduplisert versjon av The Stack-datasettet, kuratert av BigCode for å fjerne nesten duplikerte kodeutdrag for renere treningsdata.
Key Concepts
- Deduplisering
- Kode-LLM-er
- Datakvalitet
- The Stack
Use Cases
- Trening av modeller for kodegenerering
- Benchmarking av kodingsevner
- Reduksjon av treningsredundans