Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb er et stort datasæt af filtrerede websider designet til pretræning af grundlæggende modeller. Det behandler milliarder af websider for at fjerne indhold af lav kvalitet, duplikater og skadeligt materiale
Summary
Et massivt, højtkvalitets webdatasæt kurateret af Technology Innovation Institute til pretræning af store sprogmodeller som Falcon.
Key Concepts
- Datafiltrering
- Pretræningskorpus
- Webskrabning
- Kvalitetskontrol
Use Cases
- Pretræning af store sprogmodeller
- Sammenligning af indflydelsen af datakvalitet på modelpræstation
- Bygning af effektive træningspipelines