Jeu de données : Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup est un sous-ensemble spécialisé de The Stack, un vaste référentiel de code open source. Il applique des techniques rigoureuses de déduplication pour éliminer les extraits de code redondants qui pourraient biaiser l’entraînement des grands modèles de langage.
Summary
Une version dédupliquée du jeu de données The Stack, éditée par BigCode pour supprimer les extraits de code quasi identiques afin d’obtenir des données d’entraînement plus propres.
Key Concepts
- Déduplication
- LLMs de code
- Qualité des données
- The Stack
Use Cases
- Entraînement de modèles de génération de code
- Évaluation des capacités de codage
- Réduction de la redondance lors de l’entraînement