如何解决recurrent_initializer做什么？
我正在使用tensorflow和keras中的递归神经网络层进行实验，并且正在研究recurrent_initializer。我想进一步了解它对图层的影响，因此我创建了一个SimpleRnn图层，如下所示：
rnn_layer = keras.layers.SimpleRNN(1,return_sequences=True,kernel_initializer = keras.initializers.ones,recurrent_initializer=keras.initializers.zeros,activation="linear")
运行此代码，使循环网络中的添加可见：
inp = np.zeros(shape=(1,1,20),dtype=np.float32)
for i in range(20):
inp[0][0][:i] = 5
#inp[0][0][i:] = 0
print(f"i:{i} {rnn_layer(inp)}"'')
输出：
i:0 [[[0.]]]
i:1 [[[5.]]]
i:2 [[[10.]]]
i:3 [[[15.]]]
i:4 [[[20.]]]
i:5 [[[25.]]]
i:6 [[[30.]]]
i:7 [[[35.]]]
i:8 [[[40.]]]
i:9 [[[45.]]]
i:10 [[[50.]]]
i:11 [[[55.]]]
i:12 [[[60.]]]
i:13 [[[65.]]]
i:14 [[[70.]]]
i:15 [[[75.]]]
i:16 [[[80.]]]
i:17 [[[85.]]]
i:18 [[[90.]]]
i:19 [[[95.]]]
现在，我将recurrent_initializer更改为其他内容，例如glorot_normal分布：
rnn_layer = keras.layers.SimpleRNN(1,recurrent_initializer=keras.initializers.glorot_normal(seed=0),activation="linear")
但是我仍然得到相同的结果。我认为这可能取决于某些逻辑，缺少Rnn但LSTM却有，因此我用lstm进行了尝试，但结果仍然相同。我想关于recurrent_logic有一些问题，我仍然想念。有人可以解释一下，reccurent_initializers的用途是什么，以及它如何影响递归层吗？
非常感谢！
解决方法
您输入到RNN层的形状为（1，1，20），表示每个批次有一个Timestep，RNN的默认行为是每个批次之间为RESET状态，因此您看不到循环的影响ops（recurrent_initializers）。 您必须更改输入序列的长度：
inp = np.ones(shape=(5,4,1),dtype=np.float32) # sequence length == 4
rnn_layer1 = tf.keras.layers.LSTM(1,return_state=True,return_sequences=False,kernel_initializer = tf.keras.initializers.ones,recurrent_initializer=tf.keras.initializers.zeros,activation="linear")
rnn_layer2 = tf.keras.layers.LSTM(1,recurrent_initializer=tf.keras.initializers.glorot_normal(seed=0),activation="linear")
first_sample = inp[0 : 1,:,: ] #shape(1,1)
print(rnn_layer1(first_sample )
print(rnn_layer2(first_sample )
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。