过拟合和Brier得分

如何解决过拟合和Brier得分

我有一个分类问题，我想查看客户端是默认用户还是非默认用户。对我而言，重要的是违约的可能性以及模型的校准程度，因此我正在使用brier得分作为我的评分方法进行网格搜索。我也很想知道brier得分和roc-auc之间是否存在关系，因此在网格搜索中，我将这两个参数作为参数提供。

然后我将网格搜索的结果相互绘制

clf = GridSearchCV(pipeline,parameters,cv=kfolds.split(x,y),scoring=['neg_brier_score','roc_auc'],return_train_score=True,n_jobs=n_jobs,refit='neg_brier_score')

我选择从refit参数优化brier得分，如上所示。在我使用roc-auc之前，如果验证分数和来自网格搜索的训练分数之间存在很大差异，则将其视为过拟合。刺分数也一样吗？例如当我进行绘图时，我得到的brier得分和roc-auc结果：

以上是我使用网格saeach结果获得的石斑分数，而下面是我的roc-auc得分：

看一下较野的分数图，看起来并不太合适。但是，当您从gs看roc-auc图时，看起来像是。如果我要像上面所做的那样选择对最普通分数进行优化，我如何判断是否过度拟合？验证与训练集的brier得分是否有很大差异？我怎么也能获得良好的准确性和良好的校准概率。

注意：我正在使用xgboost。