Datasetti: Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb on suuri, suodatettu verkkosivustojen tietojoukko, joka on suunniteltu perusmallien esikoulutukseen. Se käsittelee biljoonia verkkosivustoja poistaakseen huonolaatuisen sisällön, duplikaatit ja haitallisen materiaalin.
Summary
Valtava, korkealaatuinen verkkotietojoukko, jonka Technology Innovation Institute on koonnut suurten kielimallien (kuten Falcon) esikoulutusta varten.
Key Concepts
- Datansuodatus
- Esikoulutuskorpus
- Verkkokaavinta (Web Scraping)
- Laadunvalvonta
Use Cases
- Suurten kielimallien esikoulutus
- Datana laadun vaikutusten vertailu mallin suorituskykyyn
- Tehokkaiden koulutusputkien rakentaminen