Datová sada: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup je specializovaná podmnožina datové sady The Stack, což je masivní repozitář otevřeného zdrojového kódu. Aplikuje přísné techniky deduplikace k odstranění redundance v úryvcích kódu, které by mohly zkreslit trénink velkých jazykových modelů.
Summary
Odduplikovaná verze datové sady The Stack, kterou připravil tým BigCode s cílem odstranit téměř shodné úryvky kódu pro čistší trénovací data.
Key Concepts
- Deduplikace
- Kódové LLM (Code LLMs)
- Kvalita dat
- The Stack
Use Cases
- Trénink modelů pro generování kódu
- Benchmarkování kódovacích schopností
- Snížení redundance při tréninku