数据集：Bigcode/The Stack Dedup

term_id: datasetbigcodethe_stack_dedup

Category: basic_concepts

Definition

The Stack Dedup 是 The Stack（一个庞大的开源代码仓库）的一个专用子集。它应用严格的技术来消除冗余的代码片段，从而避免大型语言模型在训练时产生偏差。

Summary

由 BigCode 整理的 The Stack 数据集的去重版本，旨在移除近乎重复的代码片段，以提供更清洁的训练数据。

Key Concepts

  • 去重
  • 代码大语言模型
  • 数据质量
  • The Stack

Use Cases

  • 训练代码生成模型
  • 评估编码能力基准测试
  • 减少训练冗余

Related