数据集：Tiiuae/Falcon Refinedweb

term_id: datasettiiuaefalcon_refinedweb

Category: basic_concepts

Definition

RefinedWeb 是一个经过过滤的网页大规模数据集，专为预训练基础模型而设计。它处理数十亿个网页，以去除低质量内容、重复项和有害材料。

Summary

由技术创新研究所（TII）策划的大规模高质量网页数据集，用于预训练像 Falcon 这样的大型语言模型。

Key Concepts

  • 数据过滤
  • 预训练语料库
  • 网页抓取
  • 质量控制

Use Cases

  • 预训练大型语言模型
  • 比较数据质量对模型性能的影响
  • 构建高效的训练管道

Related