梯度下降（Gradient Descent）的基本更新公式是什么？如何选择学习率？

What is the basic gradient descent update rule and how do you choose the learning rate?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: easy

分类: Machine Learning

标签: learning rate, optimizer

参考答案摘要

答案 对目标函数 J(θ)，梯度下降的更新为： θ ← θ − η · ∇θ J(θ) ，其中 η 为学习率。学习率过大会震荡甚至发散，过小会收敛慢。实践中可用：学习率预热+衰减（step/cosine）、自适应优化器（Adam/Adagrad）、或通过验证集做网格/范围搜索；并结合梯度裁剪、批大小等一起调参。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。