Sigmoid、Tanh、ReLu这三个激活函数有什么缺点或不足，有没改进的激活函数。

What are the disadvantages/limitations of Sigmoid, Tanh, and ReLU? Are there improved activation functions?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Deep Learning

标签: Sigmoid, Tanh, ReLU, LeakyReLU, ELU, Maxout

参考答案摘要

答案 1、1）sig：容易出现梯度消失（gradient vanishing）的现象。当激活函数接近饱和区时，变化太缓慢，导致接近0，根据后向传播的数学依据是微积分求导的链式法则，当误差经过之前各层导数的乘积，八九十比的数相乘，导数结果很接近0，从而无法完成深层网络的训练。2）Sigmoid的输出不是0均值（zero-centered）的：这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。