Dropout 是怎么工作的？训练与推理阶段分别做什么？

How does dropout work during training vs inference?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: easy

分类: Machine Learning

标签: dropout, generalization, inverted dropout

参考答案摘要

答案 Dropout 的核心是训练时随机“丢弃”一部分神经元输出，迫使网络不要过度依赖某些特征，从而提升泛化。 训练阶段 ：以概率 p 将某些激活置 0；常用 inverted dropout，会把保留的激活除以 (1-p) 来保持期望不变。 推理阶段 ：不再随机丢弃，直接用完整网络；因为训练时做过缩放，推理无需再缩放。 可以把它理解为“很多子网络的集成”，对过拟合有帮助。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。