如何解决自我注意对输入大小敏感吗?
我有一个层次模型,其中使用自我关注(来自Transformer)对句子中的每个单词进行编码,然后使用另一个自我关注块将每个句子表示(由上一个块输出)编码为最终表示。每个训练示例包含20个句子。但是,我注意到,当我在较小的句子集(例如6个句子,其余的句子都被屏蔽)上进行测试时,它的性能要比对6个句子集进行训练的模型差。我发现这个结果有些令人惊讶,我想知道其他人是否经历过这样的事情。如果是这样,您是否发现了发生这种情况的原因,以及如何使模型对输入大小更可靠?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。