BERT和其他语言注意模型是否仅在初始嵌入阶段共享跨字信息？

如何解决BERT和其他语言注意模型是否仅在初始嵌入阶段共享跨字信息？

我研究视觉注意模型，但最近正在阅读BERT和其他语言注意模型，以填补我的知识方面的严重空白。

我对这些模型体系结构中所看到的东西有些困惑。给一个类似“猫追狗”的句子。我希望每个单词的嵌入之间都有交叉信息流。例如，我本来希望在模型中看到一个点，其中将“ cat”的嵌入与“ dog”的嵌入结合起来，以创建关注遮罩。

相反，我似乎看到的是（如果我错了，请纠正我）是，最初设置了诸如“ cat”之类的单词嵌入，以包含有关它们周围单词的信息。这样，每个单词的每次嵌入都将包含它们周围的所有其他单词。然后，将这些嵌入中的每一个并行通过模型。在我看来，这很奇怪，而且很多余。他们为什么要以这种方式建立模型？

如果我们要挡住猫。 “ ...追了那只狗。”那么，在推断过程中，我们是否只需要通过模型发送“ ...”嵌入？

解决方法

嵌入中不包含有关其周围其他嵌入的任何信息。 BERT和其他模型（例如OpenGPT / GPT2）没有上下文相关的输入。

上下文相关部分稍后介绍。他们在基于注意力的模型中所做的工作是使用这些输入嵌入来创建其他向量，然后彼此进行交互，并使用各种矩阵乘法进行求和，归一化，这有助于模型理解上下文，进而帮助其做有趣的事情，包括语言生成等

当您说“我希望在模型中看到一个点，其中将“ cat”的嵌入与“ dog”的嵌入结合起来，以创建关注遮罩。“，您是对的。确实发生了。只是不在嵌入级别。通过将嵌入的矩阵乘以学习的矩阵，然后相互进行交互，可以制作更多的向量。