超参数 — 人工智能

🎚️ 超参数

控制模型训练过程的配置设置。

权重需要学习。超参数需要选择。学习率、批大小、层数、dropout率和正则化强度都属于这一范畴。它们控制着训练过程和模型的结构。

错误的参数设置会浪费时间和计算资源。学习率过高会导致算法发散，过低则会导致算法运行缓慢。批大小会影响梯度噪声和内存使用情况。深度和宽度决定了模型的容量，而容量必须与任务的复杂度和数据规模相匹配。

常用调音方法

调优成本很高。每种配置都需要完整的训练运行，而且搜索空间会迅速增长。经验丰富的从业者会在自动化之前利用领域知识缩小搜索范围，这通常比蛮力搜索更有效。

Comments (2)

Stuart Price August 26, 2026

Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
Barbara Stein May 3, 2026

Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.