生成 XML 输出的 Transformer 模型

如何解决生成 XML 输出的 Transformer 模型

我有一个奇怪的具体问题，但希望有人至少可以给出一个去哪里的想法。

我正在尝试使用转换器（编码器+解码器）模型从 PNG 生成 XML 文件。在某些视频游戏中，您可以使用原始形状层生成游戏图像。对于那些难以想象的人，您可以点击此链接，并在页面加载时单击顶部的“试用示例”： https://malulleybovo.github.io/SymbolArtEditorOnline/。 此外，您可以通过单击左上角的图标（每个图层都是列表中的一个条目）来查看它所包含的每个图层。

我的模型使用带有相当标准解码器的 vision transformer 编码器。我说相当标准，因为我将每一行解码为以下形式的 XML 行（文件类型称为 SAML）：

<layer name="Symbol 0" visible="true" type="346" color="#ebebeb" alpha="1" ltx="-83" lty="-19" lbx="-112" lby="-37" rtx="-50" rty="-21" rbx="-79" rby="-39"/>

其中 type 是用于该层的原始形状，颜色是颜色的十六进制表示，alpha 是透明度，其余部分是描述形状如何转换。为了不只是对层进行热编码类型，我为每个独特的层形状创建嵌入，这些形状与模型的其余部分一起训练（以顺序、自回归的方式，因为这是一个 XML 序列行）。我的模型输出是一个大小为 (batch,layer_count,embedding_size+12) 的张量，其中 12 是不是层类型的参数数量。这造成了一个奇怪的困境以及我的问题来自哪里。

因为每一行都是嵌入值和直接来自 XML 行的值的组合，所以我必须使用 2 个不同的损失函数（嵌入的交叉熵和 L1/L2 损失以及剩余的 12 个值）。为了促进这一点，我必须对张量进行以下操作以计算损失（为简洁起见，代码有所删节）：

x = decoder(input)
emb_out,loc_out = torch.split(x,[unique_layer_cnt,12],dim=-1)
batch_emb_loss = nn.functional.cross_entropy(emb_out.transpose(1,2),emb_label)
batch_loc_loss = nn.functional.l1_loss(loc_out,loc_label)
print(batch_emb_loss + batch_loc_loss)
batch_emb_loss.backward(retain_graph=True)
batch_loc_loss.backward()

我正在做实验，但损失非常大（接近 10000，但也超过 225 行），尽管它正在下降，所以它正在收敛于某物。老实说，整个事情感觉就像一个黑客，不适合我，但我似乎想不出任何其他方法来解决这个问题。

这是一个问题吗？如果是，我还能如何为每个 XML 行生成一个损失？我避免在整个输出中使用 L1/L2 损失，但它至少会使事情变得更加统一。如果这样做可以，我是否正确地反向传播错误？我省略了自回归、生成训练和优化器部分的逐行迭代，但这有点标准（我使用了类似于 Pytorch documentation 的方法）。这甚至可行吗？我认为这是一个伪 NLP 问题，所以我认为我可以做到。

任何输入都将不胜感激，如果这不是适当解决此问题的地方或格式，我很抱歉，请告诉我将其移动/删除的位置。如果您需要更多信息，请告诉我。

提前致谢！