如何解决Keras激活函数Tanh与Sigmoid
我有一个利用二进制数据的LSTM,即标签全为0或1。
这将导致我使用S型激活函数,但是当我执行此操作时,具有相同数据的tanh激活函数的性能明显逊于相同模型。
为什么即使数据不在tanh激活函数所需的(-1,1)范围内,tanh激活函数也会产生更好的精度?
S型激活函数的精度: 训练准确度:60.32% 验证准确性:72.98%
Tanh激活功能精度: 训练准确性:83.41% 验证准确性:82.82%
其余所有代码完全相同。
谢谢。
解决方法
如果训练集中每个输入变量的平均值接近零,则收敛通常会更快。 tanh的均值为零。您的数据可能已归一化并且均值接近零?
,在(0,1]的时间间隔内,如果梯度随着时间t减小,则S型曲线更好。如果梯度增大,则tanh激活函数。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。