Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb is een dataset op grote schaal van gefilterde webpagina’s, ontworpen voor het pretrainen van foundationmodellen. Het verwerkt miljarden webpagina’s om inhoud van lage kwaliteit, duplicaten en schadelijk materiaal te verwijderen.
Summary
Een massieve, hoogwaardige webdataset samengesteld door het Technology Innovation Institute voor het pretrainen van grote taalmodellen zoals Falcon.
Key Concepts
- Gegevensfiltering
- Pretrainingscorpus
- Web Scraping
- Kwaliteitscontrole
Use Cases
- Pretrainen van grote taalmodellen
- Het vergelijken van de impact van datakwaliteit op modelprestaties
- Het bouwen van efficiënte trainingspijplijnen