Ley de escalado neuronal
term_id: neural_scaling_law
Category: basic_concepts
Definition
Las leyes de escalado neuronal describen la relación predecible de ley de potencia entre el rendimiento de un modelo y su escala, incluyendo el tamaño del conjunto de datos, la cantidad de parámetros y el presupuesto computacional. Estas leyes sugieren que…
Summary
Relaciones empíricas que predicen mejoras en el rendimiento del modelo basadas en aumentos en datos, parámetros o capacidad de cómputo.
Key Concepts
- Relación de ley de potencia
- Escalado de parámetros
- Eficiencia de datos
- Entrenamiento óptimo en cómputo
Use Cases
- Planificación de recursos para LLMs
- Selección de arquitectura de modelos
- Pronóstico de rendimiento