GPT的掩盖自我注意如何用于微调/推断

如何解决GPT的掩盖自我注意如何用于微调/推断

在培训时，据我从“注意就是你所需要的”文件中了解到的那样，在解码器中使用屏蔽自我注意的方式是多次输入输出序列，每次都删除屏蔽从下一个令牌开始。

Q1。在推断时，预期的输出序列长度是未知的。您如何确定要添加多少个屏蔽令牌？您是否总是用掩码标记填充输入的最大长度，并在预测到序列符号的结尾时停止输入？

第二季度。 GPT推断目标任务有些不同。将“查询”向量注入模型（例如，相似性任务中的[text1; text2]和[text2; text1]）。在这种情况下如何使用掩膜？我希望整个序列仅一步注入而不会掩盖，但这与被掩盖的自我注意方法相矛盾。

解决方法

在标准Transformer中，仅将目标语句提供给解码器一次（您可能会将其与BERT的掩码语言模型目标混淆）。

屏蔽的目的是确保状态不涉及“未来”的令牌，而仅涉及“过去”的令牌。掩码如下所示（查询在垂直轴上；键和值在水平轴上）：

\ 1 2 3 4 5 6
1 ○ ○ ○ ○ ○ ○
2 ● ○ ○ ○ ○ ○
3 ● ● ○ ○ ○ ○
4 ● ● ● ○ ○ ○
5 ● ● ● ● ○ ○
6 ● ● ● ● ● ○

这意味着对于生成第一个令牌，您不能参与任何操作，而在生成第二个令牌时，您可以参与第一个令牌的状态。在第三个，您可以参加第一个和第二个。

因此，当您只能关注与已生成的令牌相对应的状态时，掩码将模拟推理时间。对于用于序列到序列学习的标准Transformer和仅用于解码器的Transformer（例如GPT-2），都是相同的。

如果您有效地实现推断，则不需要掩蔽。您将所有先前的状态保留在内存中，仅对最后一个查询（与新生成的令牌相对应）进行关注，从而获得新的状态并预测下一个令牌是什么。循环执行此操作，直到生成句子结束标记为止。