我们如何/应该如何对 HuggingFace 令牌分类实体识别中的类进行加权？

如何解决我们如何/应该如何对 HuggingFace 令牌分类实体识别中的类进行加权？

我正在使用 token classification 库和自定义数据加载器训练 HuggingFace Transformers（又名命名实体识别）模型。

像大多数 NER 数据集（我想？）一样，存在非常显着的类别不平衡：大多数标记是 other - 即 不是实体 - 当然，不同实体类本身之间存在一些差异。

正如我们所料，我的“准确度”指标因此被严重扭曲：如果 90% 的标记是 other，那么获得 80% 的标记分类准确度并不是什么了不起的成就......一个微不足道的模型本可以做得更好！

我可以计算一些额外的、更有洞察力的评估指标——但这让我想知道......我们可以/应该以某种方式将这些权重纳入训练损失吗？这将如何使用典型的 *ForTokenClassification 模型来完成，例如BERTForTokenClassification？

解决方法

这实际上是一个非常有趣的问题，因为似乎（目前）还没有打算自己修改模型中的损失。专门针对BertForTokenClassification，我发现this code segment：

loss_fct = CrossEntropyLoss()
# ...
loss = loss_fct(logits.view(-1,self.num_labels),labels.view(-1))

要实际更改损失计算并添加其他参数，例如您提到的权重，您可以采用以下两种方法之一：

• 您可以在本地修改转换器的副本，然后从那里安装库，这使得这只是代码中的一个小改动，但在不同的实验中更改部件可能会很麻烦，或者
• 您返回您的 logits（默认情况下是这种情况），并在 Huggingface 模型的实际前向传递之外计算您自己的损失。在这种情况下，您需要了解前向调用中计算的损失的任何潜在传播，但这应该在您的权力范围内进行更改。