如何解决XGBoost超参数与多个类的RandomizedSearchCV一起运行
我正在为模型调整超参数,我的代码如下:
para_tunning = {
'learning_rate': [0.01,0.05,0.1],'min_child_weight': [1,5,10],'gamma': [0.5,1,1.5,2,5],'subsample': [0.6,0.8,1.0],'colsample_bytree': [0.6,'max_depth': [3,4,6,7,8,9,"n_estimators": [100,200,300,400,500],"objective": "multi:softmax","aplha":[0,8]
}
clf_rndcv = RandomizedSearchCV(clf,param_distributions = para_tunning,cv = 5,n_iter = 5,scoring = 'accuracy',error_score = 0,verbose = 3,n_jobs = -1,random_state = 42)
clf_rndcv.fit(X_train,y_train)
它表明Fitting 5 folds for each of 5 candidates,totalling 25 fits
,我想它只是从para_tunning字典中随机选择5并进行5折简历吗?如果要测试所有参数,是否要切换到gridsearchcv?还有关于调音的建议吗?我正在使用100个类,每个类500个样本的多类分类器:总共5万个。谢谢!
解决方法
是的,如果要搜索 ALL ,则必须使用GridSearchCV
。 GridSearch
搜索超参数的所有可能组合(根据您的情况,它可能会很大)。
供您参考,XGBoost具有自己的超参数调整功能。 XGBoost CV
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。