请问人工神经网络中为什么ReLu要好于Tanh和sigmoid function？函数图形如下：

In artificial neural networks, why is ReLU better than tanh and sigmoid functions? The function plots are shown below:

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Deep Learning

标签: ReLU, Sigmoid, Tanh, BatchNorm, Saturation, Sparsity

参考答案摘要

答案 第一，采用sigmoid等函数，激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法和指数运算，计算量相对大，而采用Relu激活函数，整个过程的计算量省很多。 第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），这种现象称为饱和，从而无法完成深层网络的训练，而ReLu就...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。