如何解决为什么 Scikit-learn RFECV 为训练数据集返回非常不同的特征?
我一直在波士顿数据集上试验 RFECV。
到目前为止,我的理解是,为了防止数据泄露,执行此类活动非常重要,仅针对训练数据而非整个数据集。
我只对训练数据执行了 RFECV,结果表明 14 个特征中有 13 个是最优的。然而,我随后在整个数据集上运行了相同的过程,这一次,它表明只有 6 个特征是最佳的 - 这似乎更有可能。
举例说明:
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston
### CONSTANTS
TARGET_COLUMN = 'Price'
TEST_SIZE = 0.1
RANDOM_STATE = 0
### LOAD THE DATA AND ASSIGN TO X and y
data_dict = load_boston()
data = data_dict.data
features = list(data_dict.feature_names)
target = data_dict.target
df = pd.DataFrame(data=data,columns=features)
df[TARGET_COLUMN] = target
X = df[features]
y = df[TARGET_COLUMN]
### PERFORM TRAIN TEST SPLIT
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=TEST_SIZE,random_state=RANDOM_STATE)
#### DETERMINE THE DATA THAT IS PASSED TO RFECV
## Just the Training data
X_input = X_train
y_input = y_train
## All the data
# X_input = X
# y_input = y
### IMPLEMENT RFECV AND GET RESULTS
rfecv = RFECV(estimator=LinearRegression(),step=1,scoring='neg_mean_squared_error')
rfecv.fit(X_input,y_input)
rfecv.transform(X_input)
print(f'Optimal number of features: {rfecv.n_features_}')
imp_feats = X.drop(X.columns[np.where(rfecv.support_ == False)[0]],axis=1)
print('Important features:',list(imp_feats.columns))
运行以上将导致:
Optimal number of features: 13
Important features: ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PTRATIO','B','LSTAT']
现在,如果更改代码使 RFECV 适合所有数据:
#### DETERMINE THE DATA THAT IS PASSED TO RFECV
## Just the Training data
# X_input = X_train # NOW COMMENTED OUT
# y_input = y_train # NOW COMMENTED OUT
## All the data
X_input = X # NOW UN-COMMENTED
y_input = y # NOW UN-COMMENTED
并运行它,我得到以下结果:
Optimal number of features: 6
Important features: ['CHAS','LSTAT']
我不明白为什么整个数据集的结果与仅训练集的结果如此明显不同(而且似乎更准确)。
我尝试通过使 test_size 非常小(通过我的 TEST_SIZE
常量)使训练集接近整个数据的大小,但我仍然得到了这种看似不太可能的差异。
我错过了什么?
解决方法
这当然看起来像是出乎意料的行为,尤其是当你说,你可以将测试规模减少到 10% 甚至 5% 并找到类似的差异时,这似乎非常违反直觉。理解这里发生的事情的关键是要意识到对于这个特定的数据集,每一列中的值不是随机分布在行中的(例如,尝试运行 X['CRIM'].plot()
)。您用来分割数据的 train_test_split
函数有一个参数 shuffle
,默认为 True
。因此,如果您查看 X_train
数据集,您会发现索引是混乱的,而在 X
中它是连续的。这意味着当 RFECV
类在幕后执行交叉验证时,它会在 X
的每个拆分中获得有偏差的数据子集,但在 X_train
中获得更具代表性/随机的数据子集shuffle=False
的每次拆分。如果您将 train_test_split
传递给 X
,您会看到两个结果更接近(或者可能更好,尝试改组 import re
s = '|0-1|0.0|0.0+-0.0|0.8+-0.8|0.0+-0.0|-2.4+-2.4|5.9|'
re.split("\||\+\-",s)
的索引)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。