ELU

指数线性单元(ELU)，全称Exponential Linear Units，使用了指数作为激活函数的一部分。

函数表达式

$$f(x)=\{\begin{array}{l}\alpha (e^x-1),x\le 0\\ x,x>0\end{array}$$

函数图像

在图像上，$x>0$部分与ReLU相似，而在$x<0$部分与sigmoid/tanh相似

函数特性

ELU激活函数上所有点都是连续且可微的($\alpha =1$)，所以不存在梯度消失和梯度爆炸的问题。ELU在$x>0$部分与ReLU相似，而在$x<0$部分与sigmoid/tanh相似，这样就能很好的结合两者的优点。理论上，ELU要好于ReLU，但是实际上，并没有证据表明ELU总是优于ReLU。

优点：

• 相比于ReLU、sigmoid、tanh激活函数，其训练时间更短、精确度也更高。因为其在原点处函数连续，这样能够加快函数收敛
• 没有dead relu神经元死亡问题

缺点：

• 计算速度较慢，因为涉及到非线性的运算，但是其较快的收敛速度会对其进行一定程度上的弥补

的弥补