Conjunto de Dados: Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
O RefinedWeb é um conjunto de dados em larga escala de páginas da web filtradas, projetado para o pré-treinamento de modelos fundamentais. Ele processa bilhões de páginas da web para remover conteúdo de baixa qualidade, duplicatas e material prejudicial.
Summary
Um conjunto de dados massivo e de alta qualidade da web, curado pelo Instituto de Inovação Tecnológica para o pré-treinamento de grandes modelos de linguagem como o Falcon.
Key Concepts
- Filtragem de Dados
- Corpus de Pré-treinamento
- Web Scraping (Coleta de dados web)
- Controle de Qualidade
Use Cases
- Pré-treinamento de grandes modelos de linguagem
- Comparação do impacto da qualidade dos dados no desempenho do modelo
- Construção de pipelines de treinamento eficientes