Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb är en stor-skals datamängd av filtrerade webbsidor utformad för förträning av grundläggande modeller. Den bearbetar miljarder webbsidor för att ta bort innehåll av låg kvalitet, duplicat och skadligt material
Summary
En massiv, högkvalitativ webbdatamängd kuraterad av Technology Innovation Institute för förträning av stora språkmodeller som Falcon.
Key Concepts
- Datafiltrering
- Förträningskorpus
- Webbskrapning
- Kvalitetskontroll
Use Cases
- Förträning av stora språkmodeller
- Jämförelse av datakvalitetens inverkan på modellprestanda
- Byggande av effektiva träningspipelines