Dataset: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup este un subansamblu specializat al setului de date The Stack, o vastă bibliotecă de cod sursă deschis. Acesta aplică tehnici riguroase de deduplicare pentru a elimina fragmentele de cod redundante care ar putea introduce bias-uri în antrenarea modelelor mari de limbaj.
Summary
O versiune deduplicată a setului de date The Stack, curățată de echipa BigCode pentru a elimina fragmente de cod aproape duplicate și a obține date de antrenament mai curate.
Key Concepts
- Deduplicare
- LLM-uri pentru cod
- Calitatea datelor
- The Stack
Use Cases
- Antrenarea modelelor de generare a codului
- Evaluarea capacităților de programare
- Reducerea redundanței în antrenament