梯度爆炸会引发什么问题？

What problems can exploding gradients cause?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: easy

分类: Deep Learning

标签: Exploding Gradient, Instability, NaN Weights, Long Sequences

参考答案摘要

答案 在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的NaN权重值。梯度爆炸导致学习过程不稳定。在循环神经网络中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。