神经网络发展史？

Neural network development history?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Deep Learning

标签: ReLU, BatchNorm, Dropout, ResNet, LSTM, GRU, WGAN, WGAN-GP

参考答案摘要

答案 sigmoid会饱和，造成梯度消失。于是有了ReLU。ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。太深了，梯度传不下去，于是有了highway。干脆连highway的参数都不要，直接变残差，于是有了ResNet。强行稳定参数的均值和方差，于是有了BatchNorm。在梯度流中增加噪声，于是有了Dr...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。