如何解决Keras L2正则化使网络无法学习
我正在尝试为MNIST数据集训练一个简单的模型。一个隐藏的层由36个神经元组成。
NUM_CLASSES = 10
BATCH_SIZE = 128
EPOCHS = 100
model = models.Sequential([
layers.Input(shape = x_train.shape[1:]),layers.Dense(units = 36,activation = activations.sigmoid,kernel_regularizer = regularizers.l2(0.0001)),layers.Dropout(0.5),layers.Dense(units = NUM_CLASSES,activation = activations.softmax)
])
model.summary()
model.compile(loss = losses.CategoricalCrossentropy(),optimizer = optimizers.RMSprop(),metrics = ['accuracy'])
history = model.fit(x_train,y_train,batch_size = BATCH_SIZE,epochs = EPOCHS,verbose = 2,validation_data = (x_val,y_val))
没有l2
部分,一切正常,但是一旦我尝试使用正则化,所有内容都会横摆,并且准确度始终保持在10%:
Epoch 1/300
391/391 - 1s - loss: 2.4411 - accuracy: 0.0990 - val_loss: 2.3027 - val_accuracy: 0.1064
Epoch 2/300
391/391 - 0s - loss: 2.3374 - accuracy: 0.1007 - val_loss: 2.3031 - val_accuracy: 0.1064
Epoch 3/300
391/391 - 0s - loss: 2.3178 - accuracy: 0.1016 - val_loss: 2.3041 - val_accuracy: 0.1064
Epoch 4/300
391/391 - 0s - loss: 2.3089 - accuracy: 0.1045 - val_loss: 2.3026 - val_accuracy: 0.1064
Epoch 5/300
391/391 - 0s - loss: 2.3051 - accuracy: 0.1060 - val_loss: 2.3030 - val_accuracy: 0.1064
当我手动给regularizers.l2
作为参数时,以及当我给"l2"
作为参数时,都会发生这种情况。
为什么会发生这种情况,我在做什么错呢?
解决方法
我怀疑具有高.5的辍学率,添加正则化将阻止网络学习。辍学和正则化都是防止过度拟合的一种手段。尝试使用较低的辍学率进行正则化,看看网络是否训练正确。到目前为止,我的经验是,辍学比正则化方法更有效地控制拟合。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。