如何解决需要帮助来了解Tensorflow中的编码器/解码器代码
我正在阅读Aurelion Geron撰写的“使用Scikit-Learn和TensorFlow进行动手机器学习”。我目前正在阅读本书的“编码器-解码器”部分,偶然发现了一些我不完全理解的代码,并且发现本书中的解释并不令人满意(至少对于像我这样的人而言,是初学者)。下图显示了我们正在尝试实现的模型(或更准确地说,我们将实现与下图相似的模型,而不是与该模型完全相同的):
(来自Hands-On Machine Learning with Scikit-Learn,Keras,and TensorFlow的图片,第16章,第543页,图16-3)
这是所使用的代码(同样,上面的模型并不是我们要编写的确切代码。作者明确表示,我们将构建的模型与上面的相似图片):
import tensorflow_addons as tfa
encoder_inputs = keras.layers.Input(shape=[None],dtype=np.int32)
decoder_inputs = keras.layers.Input(shape=[None],dtype=np.int32)
sequence_lengths = keras.layers.Input(shape=[],dtype=np.int32)
embeddings = keras.layers.Embedding(vocab_size,embed_size)
encoder_embeddings = embeddings(encoder_inputs)
decoder_embeddings = embeddings(decoder_inputs)
encoder = keras.layers.LSTM(512,return_state=True)
encoder_outputs,state_h,state_c = encoder(encoder_embeddings)
encoder_state = [state_h,state_c]
sampler = tfa.seq2seq.sampler.TrainingSampler()
decoder_cell = keras.layers.LSTMCell(512)
output_layer = keras.layers.Dense(vocab_size)
decoder = tfa.seq2seq.basic_decoder.BasicDecoder(decoder_cell,sampler,output_layer=output_layer)
final_outputs,final_state,final_sequence_lengths = decoder(
decoder_embeddings,initial_state=encoder_state,sequence_length=sequence_lengths)
Y_proba = tf.nn.softmax(final_outputs.rnn_output)
model = keras.Model(inputs=[encoder_inputs,decoder_inputs,sequence_lengths],outputs=[Y_proba])
上面的代码中有一些我不知道他们做什么的事情,并且我认为我知道他们所做的事情,所以我将尽力解释一下我所做的事情感到困惑。如果从现在开始我说的话我错了,请告诉我。
我们导入tensorflow_addons。
在2-4行中,我们为编码器,解码器和原始字符串创建输入层。我们可以在图片中看到这些将要去的地方。这里引起第一个混乱:为什么encoder_inputs
和decoder_inputs
的形状是一个元素为None
的列表,而sequence_lengths
的形状是一个空列表?这些形状的含义是什么?他们为什么不同?为什么我们必须这样初始化它们?
在第5-7行中,我们创建了嵌入层,并将其应用于编码器输入和解码器输入。
在第8-10行中,我们为编码器创建了LSTM层。我们保存LSTM的隐藏状态h
和存储单元状态C
,因为这将成为解码器的输入。
第11行对我来说是另一个困惑。我们显然创建了一个所谓的TrainingSampler
,但我不知道这是什么或做什么。用作者的话说:
TrainingSampler是以下几种之一 TensorFlow插件中提供的采样器:它们的作用是在每个步骤告诉解码器 它应该假装以前的输出是什么。在推断期间,这应该是实际输出的令牌的嵌入。在训练期间,应该 嵌入先前的目标令牌:这就是我们使用TrainingSampler的原因。
我不太理解这个解释。 TrainingSampler
到底是做什么的?它是否告诉解码器正确的先前输出是先前的目标?它是如何做到的?甚至更重要的是,我们是否需要在推理过程中更改此采样器(因为在推理过程中将没有目标)?
在第12和13行中,我们定义了解码器单元和输出层。我的问题是,为什么我们将解码器定义为LSTMCell
,而我们却将编码器定义为LSTM
,而不是单元格。我在stackoverflow上读到LSTM
是循环层,而LSTMCell
包含一步的计算逻辑。但是我不明白为什么我们必须在编码器中使用LSTM
而在解码器中使用LSTMCell
。为什么会有这种差异?是因为在下一行中,BasicDecoder
实际上需要一个单元格吗?
在接下来的几行中,我们定义BasicDecoder
并将其应用于解码器嵌入(同样,我不知道sequence_lengths
在这里做什么)。我们得到最终输出,然后通过softmax函数。
该代码中发生了很多事情,我对发生的事情感到非常困惑。如果有人可以解决问题,我将非常感激。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。