Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb est un jeu de données à grande échelle de pages web filtrées, conçu pour le pré-entraînement de modèles fondamentaux. Il traite des milliards de pages web pour éliminer le contenu de faible qualité, les doublons et les matériaux nuisibles.
Summary
Un jeu de données web massif et de haute qualité, curaté par l’Institut de l’Innovation Technologique pour le pré-entraînement de grands modèles de langage comme Falcon.
Key Concepts
- Filtrage des données
- Corpus de pré-entraînement
- Web scraping
- Contrôle qualité
Use Cases
- Pré-entraînement de grands modèles de langage
- Comparaison de l’impact de la qualité des données sur les performances du modèle
- Construction de pipelines d’entraînement efficaces