Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb este un set de date la scară largă de pagini web filtrate, conceput pentru preantrenarea modelelor fundamentale. Procesează miliarde de pagini web pentru a elimina conținutul de proastă calitate, duplicatele și materialele dăunătoare.
Summary
Un set de date masiv și de înaltă calitate din web, curatat de Institutul de Inovare Tehnologică pentru preantrenarea modelelor lingvistice mari, cum ar fi Falcon.
Key Concepts
- Filtrarea datelor
- Corpus de preantrenare
- Scraping web
- Controlul calității
Use Cases
- Preantrenarea modelelor lingvistice mari
- Compararea impactului calității datelor asupra performanței modelului
- Construirea de pipeline-uri de antrenament eficiente