Набор данных: Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb — это крупномасштабный набор данных отфильтрованных веб-страниц, предназначенный для предобучения фундаментальных моделей. Он обрабатывает миллиарды веб-страниц для удаления низкокачественного контента, дубликатов и вредоносных материалов.
Summary
Массивный высококачественный веб-набор данных, курируемый Институтом технологических инноваций (TII) для предобучения больших языковых моделей, таких как Falcon.
Key Concepts
- Фильтрация данных
- Корпус для предобучения
- Веб-скрейпинг
- Контроль качества
Use Cases
- Предобучение больших языковых моделей
- Сравнение влияния качества данных на производительность моделей
- Построение эффективных конвейеров обучения