如何修复梯度爆炸问题？

How do you fix exploding gradients?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Deep Learning

标签: Fix, Gradient Clipping, Regularization, ReLU, LSTM, Keras

参考答案摘要

答案 （1）重新设计网络模型：在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决。使用更小的批尺寸对网络训练也有好处。在循环神经网络中，训练过程中在更小的先前时间步上进行更新（沿时间的截断反向传播，truncated Backpropagation through time）可以缓解梯度爆炸问题。 （2）使用ReLU激活函数：在深度多层感知机神经网络中，梯度爆炸的发生可能是因为激活函数...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。