如何解决在人工神经网络中普遍存在超过或低于实际输出值的趋势
神经网络(前馈)可能普遍倾向于超出实际输出而不是低于输出,为什么?
作为示例,下图(右)显示了预测误差的几乎完美的高斯分布,但是神经网络似乎倾向于预测高于实际值的趋势:
解决方法
如果数据中存在偏移量,但模型中没有常数项(在称为“ bias”的NN中),则只能进行过冲/下冲。如果您首先将数据居中,这不是问题。 (在神经网络中,尤其是在深层神经网络中,还会发生变化,因为变量Y = aX的方差为V(Y)= a ^ 2 * V(X),方差逐层增加并且分布变宽。)
均值两侧的离群值也可能导致旋转(在左图中),这意味着小值被过高/过低估计,大值被过低/过高估计,这取决于离群值的确切位置(s)。
但是,在您的右图中,预测误差比Y值小得多,可能只是数值/机器精度问题。
希望我能为您提供帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。