Adathalmaz: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
A Stack Dedup a Stack hatalmas nyílt forráskódú adattárának egy specializált részhalmaza. Szigorú deduplikációs technikákat alkalmaz a redundáns kódrészletek kiküszöbölésére, amelyek torzíthatnák a nagy nyelvi modellek (LLM) tanítását.
Summary
A Stack adathalmaz deduplikált változata, amelyet a BigCode csapat állított össze a majdnem azonos kódrészletek eltávolításával a tisztább tanítási adatok érdekében.
Key Concepts
- Deduplikáció
- Kód LLM-ek
- Adatminőség
- A Stack
Use Cases
- Kódgeneráló modellek tanítása
- Kódolási képességek benchmarkolása
- Tanítási redundancia csökkentése