Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb adalah dataset skala besar berisi halaman web yang telah difilter, dirancang untuk pra-pelatihan model fondasi. Dataset ini memproses miliaran halaman web untuk menghapus konten berkualitas rendah, duplikat, dan materi berbahaya…
Summary
Sebuah dataset web masif dan berkualitas tinggi yang dikurasi oleh Institute for Technology Innovation untuk pra-pelatihan model bahasa besar seperti Falcon.
Key Concepts
- Filtering Data
- Korpus Pra-Pelatihan
- Web Scraping
- Kontrol Kualitas
Use Cases
- Pra-pelatihan model bahasa besar
- Membandingkan dampak kualitas data terhadap kinerja model
- Membangun alur kerja pelatihan yang efisien