Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb er et datasett i stor skala med filtrerte websider designet for forhåndstrening av grunnleggende modeller. Den behandler milliarder av websider for å fjerne innhold av lav kvalitet, duplikater og skadelig materiale
Summary
Et massivt, høyt kvalitetert webdatasett kuratert av Technology Innovation Institute for forhåndstrening av store språkmodeller som Falcon.
Key Concepts
- Datafiltrering
- Forhåndstrening-korpus
- Webskrapping
- Kvalitetskontroll
Use Cases
- Forhåndstrening av store språkmodeller
- Sammenligning av hvordan datapåvirkning påvirker modellprestasjon
- Bygging av effektive treningspipelines