Conjunto de Dados: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup é um subconjunto especializado do The Stack, um repositório massivo de código aberto. Ele aplica técnicas rigorosas de deduplicação para eliminar trechos de código redundantes que poderiam enviesar grandes modelos de linguagem.
Summary
Uma versão deduplicada do conjunto de dados The Stack, curada pela BigCode para remover trechos de código quase duplicados e obter dados de treinamento mais limpos.
Key Concepts
- Deduplicação
- LLMs de Código
- Qualidade dos Dados
- The Stack
Use Cases
- Treinar modelos de geração de código
- Avaliar capacidades de codificação
- Reduzir redundância no treinamento