Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb je rozsáhlá sada dat filtrovaných webových stránek určená pro předtrénování základních modelů. Zpracovává miliardy webových stránek za účelem odstranění obsahu nízké kvality, duplikátů a škodlivého materiálu, čímž poskytuje čistší a efektivnější tréninková data.
Summary
Masivní, vysoce kvalitní webová sada dat pečlivě vybraná institucí Technology Innovation Institute pro předtrénování velkých jazykových modelů, jako je Falcon.
Key Concepts
- Filtrování dat
- Korpus pro předtrénování
- Webové scrapování
- Kontrola kvality
Use Cases
- Předtrénování velkých jazykových modelů
- Srovnávání dopadů kvality dat na výkon modelu
- Budování efektivních tréninkových pipeline