Datasæt: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup er en specialiseret delmængde af The Stack, et massivt lager af open source-kode. Den anvender strenge deduplikeringsteknikker til at eliminere redundante kodeudsnit, som kunne forvrænge store sprogmodellers læring.
Summary
En dedupliceret version af The Stack-datasættet, kurateret af BigCode til at fjerne næsten duplikerede kodeudsnit for renere træningsdata.
Key Concepts
- Deduplikering
- Kode-LLM’er
- Datakvalitet
- The Stack
Use Cases
- Træning af kodegenereringsmodeller
- Benchmarking af kodningsevner
- Reducering af træningsredundans