我使用交叉验证(rfecv)的递归特征消除作为GridSearchCV的特征选择技术.
我的代码如下.
X = df[my_features_all]
y = df['gold_standard']
x_train,x_test,y_train,y_test = train_test_split(X,y,random_state=0)
k_fold = StratifiedKFold(n_splits=5,shuffle=True,random_state=0)
clf = RandomForestClassifier(random_state = 42,class_weight="balanced")
rfecv = RFECV(estimator=clf,step=1,cv=k_fold,scoring='roc_auc')
param_grid = {'estimator__n_estimators': [200,500],'estimator__max_features': ['auto','sqrt','log2'],'estimator__max_depth' : [3,4,5]
}
CV_rfc = GridSearchCV(estimator=rfecv,param_grid=param_grid,cv= k_fold,scoring = 'roc_auc',verbose=10,n_jobs = 5)
CV_rfc.fit(x_train,y_train)
print("Finished feature selection and parameter tuning")
现在,我想从上面的代码中获得最佳数量的功能和所选功能.
为此,我运行了以下代码.
#feature selection results
print("Optimal number of features : %d" % rfecv.n_features_)
features=list(X.columns[rfecv.support_])
print(features)
但是,出现以下错误:
AttributeError:“ RFECV”对象没有属性“ n_features_”.
还有其他获取这些详细信息的方法吗?
如果需要,我很乐意提供更多详细信息.
最佳答案
您传递给GridSearchCV的对象rfecv不适合它.首先将其克隆,然后将这些克隆拟合至数据并评估超参数的所有不同组合.
因此,要访问最佳功能,您需要访问GridSearchCV的best_estimator_属性:
CV_rfc.fit(x_train,y_train)
print("Finished feature selection and parameter tuning")
print("Optimal number of features : %d" % rfecv.n_features_)
features=list(X.columns[CV_rfc.best_estimator_.support_])
print(features)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。