Relu是一个非常优秀的激活哈数相比较于传统的Sigmoid函数，有三个作用：
然后可以得到sigmoid的导数
结论就是sigmoid的导数只有在0附近的时候有比较好的激活性在正负饱和区的梯度都接近于0，所以这会造成梯度弥散而relu函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象第二，relu函数在负半区的导数为0 所以一旦神经元激活值进入负半区，那么梯度就会为0也就是说这个神经元不会经历训练，即所谓的稀疏性第三，relu函数的导数计算更快程序实现就是一个if-else语句，而sigmoid函数要进行浮点四则运算综上，relu是一个非常优秀的激活函數鄙人的最爱

本博客搬自我在知乎上的回答