如何解决Transformer 模型输出中的位置编码会发生什么变化?
我一直在学习 new popular Transformer model,它可用于序列到序列的语言应用程序。我正在考虑时间序列建模的应用,这不一定是语言建模。因此,我正在建模,其中输出层可能不是概率,但可能是对时间序列下一个值的预测。
如果我考虑论文中提供的原始语言模型(参见图 1),我们会注意到位置编码应用于嵌入的输入数据,但是在输出中没有任何位置指示。输出只是给出了“下一个”时间步长的值的概率。对我来说,这里似乎丢失了一些东西。输出假定一个迭代过程,其中“下一个”输出只是下一个,因为它是下一个。然而,在输入中,我们觉得需要插入一些带有位置编码的位置信息。我认为我们也应该对输出的位置编码感兴趣。有没有办法恢复它们?
如果我们考虑非均匀采样的时间序列数据,这个问题就会变得更加明显。这确实是我感兴趣的。使用非均匀采样的时间序列作为输入并预测时间序列的“下一个”值会很有趣,我们还可以获得该预测的时间位置。这归结为以某种方式从该输出值中恢复位置信息。由于在输入中加入了输入的位置编码,所以如何从输出中提取出这些位置信息并非易事,或许应该称之为“位置解码”。
总而言之,我的问题是,输出中的位置信息会发生什么变化?它还在那里,但我只是想念它?此外,如果模型不能立即使用,是否有人看到恢复这些数据的直接方法?
谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。