Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb ist ein großskaliger Datensatz gefilterter Webseiten, der für das Pretraining von Foundation Models konzipiert ist. Er verarbeitet Milliarden von Webseiten, um Inhalte niedriger Qualität, Duplikate und schädliches Material zu entfernen.
Summary
Ein massiver, hochwertiger Webdatensatz, der vom Technology Innovation Institute für das Pretraining großer Sprachmodelle wie Falcon kuratiert wurde.
Key Concepts
- Datenfilterung
- Pretraining-Korpus
- Web Scraping
- Qualitätskontrolle
Use Cases
- Pretraining großer Sprachmodelle
- Vergleich der Auswirkungen der Datenqualität auf die Modellleistung
- Aufbau effizienter Trainingspipelines