Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
Το RefinedWeb είναι ένα σύνολο δεδομένων μεγάλου κλίμακας φιλτραρισμένων σελίδων ιστού, σχεδιασμένο για την προκαταρκτική εκπαίδευση θεμελιωδών μοντέλων. Επεξεργάζεται δισεκατομμύρια σελίδες ιστού για να αφαιρέσει περιεχόμενο χαμηλής ποιότητας, διπλότυπα και επιβλαβές υλικό
Summary
Ένα τεράστιο, υψηλής ποιότητας σύνολο δεδομένων ιστού που επιμελήθηκε το Ινστιτούτο Τεχνολογικής Καινοτομίας για την προκαταρκτική εκπαίδευση μεγάλων γλωσσικών μοντέλων όπως το Falcon.
Key Concepts
- Φιλτράρισμα Δεδομένων
- Κορpus Προεκπαίδευσης
- Web Scraping
- Έλεγχος Ποιότητας
Use Cases
- Προεκπαίδευση μεγάλων γλωσσικών μοντέλων
- Σύγκριση των επιπτώσεων της ποιότητας δεδομένων στην απόδοση του μοντέλου
- Κατασκευή αποδοτικών ροών εκπαίδευσης