超参数

term_id: hyperparameter

Category: basic_concepts

Definition

与模型参数(权重和偏置)不同,后者是在训练过程中从数据中学习得到的,而超参数是实践者在训练开始前选择的外部设置。它们控制着模型的结构、学习过程以及正则化强度等关键方面。

Summary

一种在训练过程之前设定其值的配置变量,用于控制学习算法的行为。

Key Concepts

  • 学习率
  • 批次大小
  • 模型架构
  • 正则化

Use Cases

  • 配置神经网络训练
  • 设置梯度下降步骤
  • 定义随机森林中的树深度