Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb è un dataset su larga scala di pagine web filtrate progettato per il pretraining di modelli fondazionali. Elaborando miliardi di pagine web, rimuove contenuti di bassa qualità, duplicati e materiale dannoso.
Summary
Un massiccio dataset web di alta qualità curato dal Technology Innovation Institute per il pretraining di grandi modelli linguistici come Falcon.
Key Concepts
- Filtraggio dei Dati
- Corpus di Pretraining
- Web Scraping
- Controllo di Qualità
Use Cases
- Pretraining di grandi modelli linguistici
- Confronto dell’impatto della qualità dei dati sulle prestazioni del modello
- Costruzione di pipeline di addestramento efficienti