如何解决何时使用编码器,何时使用现代变压器中的解码器部分
说到传统Transformer(分别是BERT和GPT3)的Encoder部分或Decoder部分的分配趋势,我理解有问题
除了屏蔽部分外,仅使用编码器或仅使用解码器有什么区别。在没有 Encoder 部分的情况下,Decoder 中的 cross-self attention 被省略了,对吧? 如果它们几乎相同,为什么它们似乎有不同的用例?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。