如何解决如何防止针对我的keras nn的scikit-learn网格搜索每次折叠都变慢?
我正在尝试使用scikit-learn的GridSearchCV调整Keras网络的超参数。但是,随着网格搜索的新发展,网格搜索的训练速度会变慢。最后一次测试仅包含2个折叠,每个折叠带有6000个历元。第一折花了10分钟,第二折花了20分钟。我想每个折页的模型都会以某种方式存储,并且耗费太多资源。
我将网格搜索设置为:
gs = GridSearchCV(
KerasRegressor(build_fn=create_model),params,cv=KFold(n_splits=2,random_state=123,shuffle=True),scoring=['neg_mean_squared_error','r2],refit='neg_mean_squared_error',n_jobs=-1,verbose=3)
使用参数(为了测试速度,我现在只使用了2个参数):
{'epochs': [6000],'batch_size': [1000]}
并在导入的另一个模块(AI_settings.py)中创建了一个构建函数。我插入了功能 clear_session(),因为我认为这会破坏折叠之间的模型:
def create_model(activationIn='relu',activationOut='linear',optimizer='Adam',dropout_rate=0.0,init='uniform',lr=0.001,hidden_neurons=8,output_neurons=2,count_hidden_layers=2,input_neurons=8,kernel_initializer='normal'
):
K.clear_session()
tf.compat.v1.reset_default_graph()
kerasModel = Sequential()
kerasModel.add(Dense(
hidden_neurons,input_dim=input_neurons,activation=activationIn,kernel_initializer=kernel_initializer))
# kerasModel.add(Dropout(dropout_rate))
if count_hidden_layers == count_hidden_layers:
kerasModel.add(Dense(
hidden_neurons,kernel_initializer=kernel_initializer))
# output layer with 2 variablesd
kerasModel.add(Dense(output_neurons,activation=activationOut,kernel_initializer=kernel_initializer))
if optimizer == 'Adam':
opt = tf.keras.optimizers.Adam(lr=lr)
else:
opt = tf.keras.optimizers.RMSprop(lr=lr)
kerasModel.compile(optimizer=opt,loss='mse')
return kerasModel
我还在函数 create_model 上方(在导入的模块AI_settings.py中)添加了以下代码,因为否则,我的keras + scikit-learn和GridSearchCV用 n_jobs =-会用光内存。 1 。内存不足也是我导入功能 create_model 的原因。我读到这可能会有所帮助:
import tensorflow as tf
config = tf.compat.v1.ConfigProto(
gpu_options = tf.compat.v1.GPUOptions(per_process_gpu_memory_fraction=0.8)
)
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)
tf.compat.v1.keras.backend.set_session(session)
我在Windows 10上使用tensorflow 2.1.0,keras 2.3.1和scikit-learn 0.23.2。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。