如何解决如何从xgboost检索正则项
为了评估偏差方差的权衡,我更喜欢绘制预测误差与训练后的估算器的复杂度之间的关系图。 error vs complexity plot
对于xgboost the documentation states that the complexity is taken as the regularisation term of the objective function。因此,从原理上讲,生成这样的图应该很容易。
但是,我不知道如何为训练后的模型检索计算的正则化项。我正在使用Python scikit-learn API。
该值在库中可用吗?还是应该在训练后重新计算?
解决方法
您不需要检索,而是需要设置正则化。正则化程度越低,模型越复杂,反之亦然。对于XGBoost,正则化为lambda(a link for the documentation)。
您需要遍历l2
值的列表,训练模型并计算训练和测试子集的误差。
这也是good article如何调整XGBoost的正则化。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。