如何解决XGBoost回归变量中的“ reg_alpha”参数使用高值是否不好?
我正在通过网格搜索执行超参数调整,但我意识到我正在过度拟合...我尝试了很多方法来减小它,更改"gamma","subsample","max_depth"
参数以减小它,但是我仍然过拟合...
然后,我将“ reg_alpha
”参数值增加到> 30...。并且我的模型大大减少了过拟合。我知道此参数是指权重上的L1 regularization
一词,也许这就是解决我的问题的原因。
我只想知道对reg_alpha
这样使用高值是否有问题?
感谢您的帮助:D
解决方法
reg_alpha 惩罚增加成本函数的特征。这意味着它会找到不会提高准确性的特征。但这会使预测线更平滑。
在某些问题上,我还增加了 reg_alpha > 30,因为它减少了过拟合和测试错误。 但如果是回归问题,它的预测将接近测试集的平均值,并且可能无法很好地捕捉异常。
所以我可以说,只要您的测试准确度没有开始下降,您就可以增加它。
最后,当增加 reg_alpha 时,保持 max_depth 较小可能是一个好习惯。