Dataseto: Tiiuae/Falcon Refinedweb
term_id: datasettiiuaefalcon_refinedweb
Category: basic_concepts
Definition
RefinedWeb es un conjunto de datos a gran escala de páginas web filtradas diseñado para el preentrenamiento de modelos fundamentales. Procesa miles de millones de páginas web para eliminar contenido de baja calidad, duplicados y material dañino…
Summary
Un conjunto de datos web masivo y de alta calidad curado por el Instituto de Innovación Tecnológica para el preentrenamiento de modelos de lenguaje grandes como Falcon.
Key Concepts
- Filtrado de Datos
- Corpus de Preentrenamiento
- Raspado Web
- Control de Calidad
Use Cases
- Preentrenamiento de modelos de lenguaje grandes
- Comparación del impacto de la calidad de los datos en el rendimiento del modelo
- Construcción de pipelines de entrenamiento eficientes