神经缩放定律
term_id: neural_scaling_law
Category: basic_concepts
Definition
神经缩放定律描述了模型性能与其规模（包括数据集大小、参数量和计算预算）之间的可预测的幂律关系。这些定律表明，随着规模的扩大，模型性能会按特定规律提升。
Summary
基于数据、参数或计算量增加来预测模型性能提升的经验关系。
Key Concepts
- 幂律关系
- 参数缩放
- 数据效率
- 计算最优训练
Use Cases
- 大语言模型的资源规划
- 模型架构选择
- 性能预测