cifar10数据集的Resnet50无网络权重-提高准确性 解决方案

如何解决cifar10数据集的Resnet50无网络权重-提高准确性 解决方案

我需要在cifar10数据集上训练Resnet50预训练模型，而没有预训练权重

conv_base = ResNet50(input_shape=(32,32,3),weights=None,pooling = 'avg',include_top=False)

for layer in conv_base.layers:
      layer.trainable = False

model1 = Sequential()
#model1.add(UpSampling2D(input_shape = (32,3))) #Upsampling is simply a way to magnify our image to make it bigger. 
#model1.add(BatchNormalization())
#model1.add(UpSampling2D())
#model1.add(BatchNormalization())
#model1.add(UpSampling2D())
#model1.add(BatchNormalization())
model1.add(conv_base)
model1.add(layers.Flatten())
#model1.add(BatchNormalization())
#model1.add(layers.Dense(1024,activation=('relu'),kernel_regularizer=l2(0.01),bias_regularizer=l2(0.01)))
#model1.add(layers.Dropout(0.5))
#model1.add(BatchNormalization())
#model1.add(layers.Dense(512,activation = 'relu',bias_regularizer=l2(0.01)))
#model1.add(layers.Dropout(0.4))
#model1.add(BatchNormalization())
#model1.add(layers.Dense(256,kernel_regularizer=l2(0.1)))
#model1.add(layers.Dropout(0.4))
#model1.add(BatchNormalization())
#model1.add(layers.Dense(128,kernel_regularizer=l2(0.1)))
#model1.add(layers.Dropout(0.4))
#model1.add(BatchNormalization())
model1.add(layers.Dense(10,activation = 'softmax'))


model1.summary()

opt = SGD(lr=0.001,decay=1e-6,momentum=0.9,nesterov=True)

model1.compile(
  loss='sparse_categorical_crossentropy',optimizer=opt,metrics=['accuracy']
)


lrr= ReduceLROnPlateau(
                       monitor='val_acc',factor=.01,patience=3,min_lr=1e-5)
model1.fit(X_train,y_train,batch_size = 100,validation_data = (X_val,y_val),epochs = 100,callbacks=[lrr])

准确性并没有随着时间的推移而提高，损失仍然保持不变。

有人可以帮助我提高准确性吗？为什么不添加更多的密集层/权重正则化/批量归一化层会提高准确性？

注意：我曾尝试使用数据扩充，这进一步降低了准确性。

解决方法

第一件事

for layer in conv_base.layers:
      layer.trainable = False

意味着您不训练任何东西，而只是使用随机权重。

但是关于输入大小错误还有另一个大问题。

基于Imagenet的模型通常下采样5次（对于ResNet，从224x224降低到7x7），您不能真正在这些图像上使用32x32图像，因为在最后几个卷积层中它们将变成1x1，这不是一个好主意。

解决方案

像ResNet或DenseNet这样的现代模型在第一个卷积层中使用strides=2，因此最简单的方法是删除它，最后一个块中将有2x2，这在大多数情况下足够了，或者您也可以调整输入的大小到64x64。

例如，从此处更改this file

x = layers.Conv2D(64,(7,7),strides=(2,2),padding='valid',kernel_initializer='he_normal',name='conv1')(x)

到

x = layers.Conv2D(64,strides=1,name='conv1')(x)

但是，如果您不需要图像网络权重，那么最好的方法是建立一个只有3个块的新网络（降采样2倍）。喜欢

    x = layers.ZeroPadding2D(padding=(3,3),name='conv1_pad')(img_input)
    x = layers.Conv2D(64,name='conv1')(x)
    x = layers.BatchNormalization(axis=bn_axis,name='bn_conv1')(x)
    x = layers.Activation('relu')(x)
    x = layers.ZeroPadding2D(padding=(1,1),name='pool1_pad')(x)
    x = layers.MaxPooling2D((3,2))(x)

    x = conv_block(x,3,[64,64,256],stage=2,block='a',strides=(1,1))
    x = identity_block(x,block='b')
    x = identity_block(x,block='c')

    x = conv_block(x,[128,128,512],stage=3,block='a')
    x = identity_block(x,block='c')
    x = identity_block(x,block='d')

    x = conv_block(x,[256,256,1024],stage=4,block='d')
    x = identity_block(x,block='e')
    x = identity_block(x,block='f')

    x = conv_block(x,[512,512,2048],stage=5,block='c')

我只是将跨步从2层的步幅更改为1，但这将导致最后一块的8x8张量形状足够100％。

像ResNet56，ResNet110这样的官方工具也是如此。