swish激活函数
·
swish激活函数
函数公式
函数图像
当 β \beta β取不同的值时，函数图像如下：
当 β \beta β = 0时，Swish激活函数变为线性函数 f(x) = x 2 \frac{x}{2} 2x，
当 β \beta β = ∞ \infty ∞ 时，Swish激活函数变为0或x，相当于Relu，
所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
——————————————————————————————————
Swish函数的求导过程为：
导数图像如下：
函数特点
1.Swish函数和其一阶导数都具有平滑特性；
2.有下界，无上界，非单调。
对比mish激活函数
mish激活函数参考：mish激活函数
函数图像对比如下：
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
23
0- 0
已为社区贡献8条内容
所有评论(0)