Dataset:Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb היא מערכת נתונים בקנה מידה גדול של דפי אינטרנט מסוננים המיועדת לאימון מקדים של מודלי יסוד. היא מעבדת מיליארדי דפי אינטרנט כדי להסיר תוכן באיכות נמוכה, שכפולים וחומר מזיק
Summary
מערכת נתוני אינטרנט עצומה ואיכותית שפיתח המכון לחידוש טכנולוגיה (TII) לאימון מקדים של מודלי שפה גדולים כמו Falcon.
Key Concepts
- סינון נתונים
- מאגר אימון מקדים
- איסוף נתונים מהאינטרנט
- בקרת איכות
Use Cases
- אימון מקדים של מודלי שפה גדולים
- השוואת השפעות איכות הנתונים על ביצועי המודל
- בניית קווי ייצור אימון יעילים