如何解决如何对决CNN的输出执行逻辑回归?
编辑:拿出一些可能没有用的文本。
首先,我本质上是AI和RL的新手。
我正在尝试根据图1(Dueling CNNs)实现一个对决神经网络,该图来自此处链接的论文https://link.springer.com/content/pdf/10.1007/s11063-017-9702-7.pdf[enter这里的图像描述] 1。我只需要奖励和价值流。输入是两个连续状态(即来自游戏过程的两个连续图像)X(t),Y(t)= X(t + 1)。奖励仅取决于X(r(X)),并且输出是单个标量。在更新参数之前,会同时为X和Y(V(X)和V(Y))计算值函数,并且每种状态都有一个标量输出。奖励和价值函数的估计用于Bellman方程的简化形式以及给定X和Y的类别标签的概率。该条件概率被传递到逻辑回归(LR)更新中。这是我迷路的地方。
如何在keras中设置LR优化问题?我相信我缺少一些简单的东西。我对标签的估计是Pr(label | X,Y)的偏移和拉伸,因此它是[-1,1]中的数字,然后与真实标签(-1或1)相比,使用和MSE损失。我还附加了可以运行的代码,但是由于我最后对优化部分不了解,因此损失和准确性根本没有改变。
P.S。 很抱歉,当我尝试将代码粘贴到该条目中时,缩进是否搞砸了。
谢谢大家的帮助或建议!
def class DuelQ:
def __init__(self,num_rows,num_cols,GAMMA):
# print('Input shape is',States.shape)
self.X = keras.Input(shape = (num_rows,1),name = 'state_X') # (num_rows,1)
self.Y = keras.Input(shape = (num_rows,name = 'state_Y') # (num_rows,1)
self.r = CNnet([self.X],'reward_net')
self.V = CNnet([self.X,self.Y],'value_net')
self.joint_function = self.joint_model(GAMMA)
def joint_model(self,GAMMA):
r = self.r.outputs[0]
V = self.V.outputs[0]
one_half = tf.constant(0.5)
two = tf.constant(2.0)
tfGAMMA = tf.constant([[-1],[GAMMA]],dtype=tf.float32)
label_xy = tf.tensordot(V,tfGAMMA,axes=1,name='V_scale')
label_xy = tf.add(r,label_xy,name='r_and_V' )
label_xy = tf.sigmoid(label_xy,name='sigXY_output')
label_xy = tf.math.subtract(label_xy,one_half,name='Bellman_shift')
label_xy = tf.math.multiply(label_xy,two,name='Bellman_label')
model_temp = keras.Model(inputs=[self.X,outputs=label_xy)
opt = keras.optimizers.Adam(learning_rate=0.1)
model_temp.compile(loss='mse',optimizer=opt,metrics=['acc'])
return model_temp
def CNnet(inputs,layer_prefix):
if len(inputs) == 2:
input_layer = keras.layers.Concatenate(axis=-1)(inputs)
elif len(inputs) == 1:
input_layer = inputs[0]
else:
raise ValueError('Inputs must be 1 or two images,no more')
c = Convolution2D(filters=32,kernel_size=8,strides=4,activation='relu',name=f'{layer_prefix}_conv1')(input_layer)
c = Convolution2D(64,4,strides=2,name=f'{layer_prefix}_conv2')(c)
c = Convolution2D(64,3,strides=1,name=f'{layer_prefix}_conv3')(c)
############################################################
# Stuff to fiddle with
c = Convolution2D(1,1,name=f'{layer_prefix}_channel_reduce')(c)
# c = tf.keras.layers.AveragePooling2D(4)(c)
# c = keras.mean(c,axis=-1)
############################################################
fc = Flatten(name=f'{layer_prefix}_flatten1')(c)
fc = Dense(512,name=f'{layer_prefix}_dense1')(fc)
fc = Dense(len(inputs),name=f'{layer_prefix}_intermediate_output')(fc)
Uchibe_CNN = keras.Model(inputs,fc)
return Uchibe_CNN
t0 = time.time()
my_callbacks = None
GAMMA = 0.9
ddqn = DuelQ(num_rows,GAMMA)
StatesY = np.vstack( [Y_pi,Y_b])
StatesY = np.reshape(StatesY,(*StatesY.shape,1))
joint_hist = ddqn.joint_function.fit(x=[States,StatesY],y=Labels,epochs=3,callbacks=my_callbacks)
t1 = time.time()
print('Time taken:',t1-t0,'seconds')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。