在LSTM网络中添加softmax层以“冻结”输出

如何解决在LSTM网络中添加softmax层以“冻结”输出

我一直在尝试通过PyTorch上的个人项目自学RNN的基础知识。我想产生一个能够预测序列中下一个字符的简单网络（想法主要来自本文http://karpathy.github.io/2015/05/21/rnn-effectiveness/，但我想亲自完成大部分工作）。

我的想法是：我取一批 B 输入序列，其大小为 n （np数组为 n 整数），一个很热对它们进行编码，然后通过我的网络，该网络由几个LSTM层，一个完全连接的层和一个softmax单元组成。 然后，我将输出与目标序列进行比较，目标序列是输入序列向前移动了一步。

我的问题是，当我包括softmax层时，每个批次的每个时期的输出都是相同的。当我不包括它时，网络似乎可以适当地学习。我不知道怎么了。

我的实现如下：

class Model(nn.Module):
def __init__(self,one_hot_length,dropout_prob,num_units,num_layers):
    
    super().__init__()

    self.LSTM = nn.LSTM(one_hot_length,num_layers,batch_first = True,dropout = dropout_prob)
    
    self.dropout = nn.Dropout(dropout_prob)
    self.fully_connected = nn.Linear(num_units,one_hot_length)
    self.softmax = nn.Softmax(dim = 1)
    # dim = 1 as the tensor is of shape (batch_size*seq_length,one_hot_length) when entering the softmax unit

def forward_pass(self,input_seq,hc_states):

    output,hc_states = self.LSTM (input_seq,hc_states)
    output = output.view(-1,self.num_units)
    output = self.fully_connected(output) 
    # I simply comment out the next line when I run the network without the softmax layer
    output = self.softmax(output)
    return output,hc_states

one_hot_length 是我的字符字典的大小（〜200，也是一个热编码矢量的大小） num_units 是LSTM单元中隐藏单元的数量， num_layers 是网络中LSTM层的数量。

训练循环的内部（简化）如下：

input,target = next_batches(data,batch_pointer)

input = nn.functional.one_hot(input_seq,num_classes = one_hot_length).float().

for state in hc_states:
    state.detach_()
            
optimizer.zero_grad()
            
output,states = net.forward_pass(input,hc_states)

loss = nn.CrossEntropyLoss(output,target)
loss.backward()
    
nn.utils.clip_grad_norm_(net.parameters(),MaxGradNorm)

optimizer.step()

在 hc_states 中，具有隐藏状态张量和单元状态张量 input 的元组是大小（ B ， n ， one_hot_length ）， target 是（ B ， n ）。

我正在训练一个非常小的数据集（约400Ko的.txt中的句子），只是为了调整我的代码，并且使用不同的参数进行了4次不同的运行，每次结果都是相同的：网络并不它具有softmax层时可以完全学习，而没有一点则进行适当的训练。 我认为张量形状不是问题，因为我几乎可以确定我检查了所有内容。

我对我的问题的理解是，我正在尝试进行分类，通常是在最后放置一个softmax单元，以使每个字符的“概率”出现，但是显然这是不对的。

有什么办法可以帮助我吗？ 我对Pytorch和RNN还是很陌生，所以如果我的体系结构/实现对有知识的人来说有点怪异，我要提前道歉。随时纠正我，并预先感谢。