Zbiór danych: Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb to duży zbiór danych przefiltrowanych stron internetowych przeznaczony do wstępnego trenowania modeli fundamentowych. Przetwarza miliardy stron, usuwając treści niskiej jakości, duplikaty oraz materiały szkodliwe, aby zapewnić czystszą bazę do nauki modeli.
Summary
Masowy, wysokiej jakości zbiór danych z internetu, przygotowany przez Technology Innovation Institute do wstępnego trenowania dużych modeli językowych, takich jak Falcon.
Key Concepts
- Filtrowanie danych
- Korpus do wstępnego trenowania
- Scraping sieci
- Kontrola jakości
Use Cases
- Wstępne trenowanie dużych modeli językowych
- Porównywanie wpływu jakości danych na wydajność modeli
- Budowanie wydajnych potoków treningowych