如何解决具有两个神经网络的TensorFlow会话-TypeError:获取参数None具有无效的类型<class'NoneType'>
我在stackoverflow上看到了类似的问题,但是我发现的任何问题都可以解决我的问题。
当我想使用两个神经网络来控制两个自由度时,我有一些强化学习任务。
我有一个带有两个神经网络的代码:
def reset_graph(seed=42):
tf.reset_default_graph()
tf.set_random_seed(seed)
np.random.seed(seed)
reset_graph()
n_inputs = 10
n_hidden = 8
n_outputs = 3
learning_rate = 0.0025
initializer = tf.contrib.layers.variance_scaling_initializer()
X1 = tf.placeholder(tf.float32,shape=[None,n_inputs],name='X1')
hidden = tf.layers.dense(X1,10,activation=tf.nn.tanh,name = 'hidden1',kernel_initializer=initializer)
logits1 = tf.layers.dense(hidden,n_outputs,name='logit1')
outputs1 = tf.nn.softmax(logits1,name='out1')
action1 = tf.multinomial(logits1,num_samples=1,name='action1')
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels= action1[0],logits=logits1,name='cross_e1')
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate,name='opt1')
grads_and_vars = optimizer.compute_gradients(cross_entropy)
gradients = [grad for grad,variable in grads_and_vars]
gradient_placeholders = []
grads_and_vars_feed = []
for grad,variable in grads_and_vars:
gradient_placeholder = tf.placeholder(tf.float32)
gradient_placeholders.append(gradient_placeholder)
grads_and_vars_feed.append((gradient_placeholder,variable))
training_op = optimizer.apply_gradients(grads_and_vars_feed)
X2 = tf.placeholder(tf.float32,name='X2')
initializer2 = tf.contrib.layers.variance_scaling_initializer()
hidden2 = tf.layers.dense(X2,name='hidden2',kernel_initializer=initializer2)
logits2 = tf.layers.dense(hidden2,3,name='logit2')
outputs2 = tf.nn.softmax(logits2,name='out2')
action2 = tf.multinomial(logits2,name='action2')
cross_entropy2 = tf.nn.sparse_softmax_cross_entropy_with_logits(labels= action2[0],logits=logits2,name='cross_e2')
optimizer2 = tf.train.GradientDescentOptimizer(learning_rate=0.002,name = 'opt2')
grads_and_vars2 = optimizer2.compute_gradients(cross_entropy2)
gradients2 = [grad2 for grad2,variable2 in grads_and_vars2]
gradient_placeholders2 = []
grads_and_vars_feed2 = []
for grad2,variable2 in grads_and_vars2:
gradient_placeholder2 = tf.placeholder(tf.float32)
gradient_placeholders2.append(gradient_placeholder2)
grads_and_vars_feed2.append((gradient_placeholder2,variable2))
training_op2 = optimizer2.apply_gradients(grads_and_vars_feed2)
init = tf.global_variables_initializer()
saver = tf.train.Saver()
,当我运行它时:
action_val,action_val2,gradients_val,gradients_val2 = sess.run([action,action2,gradients,gradients2],feed_dict={X1: obs.reshape(1,n_inputs),X2: obs.reshape(1,n_inputs)})
我有一个错误:
TypeError Traceback (most recent call last)
<ipython-input-70-fb66a94fa4dc> in <module>
50 reward,done,obs = agent.step(rotor_speeds)
51
---> 52 action_val,n_inputs)})
...
TypeError: Fetch argument None has invalid type <class 'NoneType'>
问题出在 gradients2 。当我计算图的其他部分时,它工作正常。例如:
action_val,gradients_val = sess.run(([action1,gradients]),n_inputs)})
它没有问题。
此外,我想知道为什么在由上述代码生成的图上,第一个神经网络的隐藏层( hidden1 )和logits( logit1 )连接到第二个优化器( opt2 ),因为我没有在代码中看到这种不需要的连接。也许这是问题的原因,但我也不知道该如何解决。
解决方法
让我们看看gradients2
,因为它似乎会引起错误:
>>> gradients2
[None,None,<tf.Tensor 'gradients_1/hidden2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,10) dtype=float32>,<tf.Tensor 'gradients_1/hidden2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(10,) dtype=float32>,<tf.Tensor 'gradients_1/logit2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,3) dtype=float32>,<tf.Tensor 'gradients_1/logit2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(3,) dtype=float32>]
前四个元素是None
,这说明了sess.run()
失败的原因(您无法评估None
)。
那为什么gradients2
包含None
值?这些值来自grads_and_vars2
,让我们来看一下:
>>> grads_and_vars2
[(None,<tf.Variable 'hidden1/kernel:0' shape=(10,10) dtype=float32_ref>),(None,<tf.Variable 'hidden1/bias:0' shape=(10,) dtype=float32_ref>),<tf.Variable 'logit1/kernel:0' shape=(10,3) dtype=float32_ref>),<tf.Variable 'logit1/bias:0' shape=(3,(<tf.Tensor 'gradients_1/hidden2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'hidden2/kernel:0' shape=(10,(<tf.Tensor 'gradients_1/hidden2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'hidden2/bias:0' shape=(10,(<tf.Tensor 'gradients_1/logit2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'logit2/kernel:0' shape=(10,(<tf.Tensor 'gradients_1/logit2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(3,<tf.Variable 'logit2/bias:0' shape=(3,) dtype=float32_ref>)]
None
的值对应于变量hidden1/kernel
,hidden1/bias
,logit1/kernel
和logit1/bias
。这些是hidden1
和logit1
密集层的参数。这是什么意思?考虑一下grads_and_vars2
的计算方式:
grads_and_vars2 = optimizer2.compute_gradients(cross_entropy2)
因此,我们要求TensorFlow针对 TensorFlow图中的所有变量计算cross_entropy2
的梯度。这包括cross_entropy2
完全不依赖的变量,例如hidden1
和logit1
密集层的参数。这就是为什么有一些None
值的原因。
由于sess.run()
不允许您评估None
的值,因此会出现错误。
要摆脱此错误,您只需过滤掉None
值:
gradients = [grad for grad,variable in grads_and_vars if grad is not None]
...
gradients2 = [grad2 for grad2,variable2 in grads_and_vars2 if grad2 is not None]
错误应该消失。
作为旁注:我鼓励您检查TensorFlow 2(带有tf.keras):使用起来更容易。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。