为什么 Spacy 3 NER 对 GPU 和 CPU 使用不同的管道？

如何解决为什么 Spacy 3 NER 对 GPU 和 CPU 使用不同的管道？

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 和不使用 GPU 进行训练之间进行“最后一分钟”选择 - 仅使用 CPU。

但是，使用 https://spacy.io/usage/training#quickstart 在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我得到两个不同的管道：

• 对于 CPU：pipeline = ["tok2vec","ner"]
• 对于 GPU：管道 = ["transformer","ner"]

（具有非常不同的以下组件设置）。

因为我的 GPU 只有 6GB 的内存，所以我的 GPU 内存很快就用完了 - 无法使用它。但是当我切换到仅使用 CPU 时，两个管道之间的训练行为大不相同：

["tok2vec","ner"] 管道几乎在一个内核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显比 Spacy 2 快（即使使用 GPU），但有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道最多使用 20 个内核（在 40 个逻辑内核的机器上），所以我希望它运行得很快。但它似乎永远运行。一个小时后，我只完成了第一个“时代”，然后（在下一个时代）它崩溃了（见下文）。由于我的数据（DocBin 文件每个批处理 100 个“文档”）是相同的，下面的崩溃（乱序 B/I 标签）很难解释。

我的主要问题是为什么针对 GPU 与 CPU 的管道不同？以 GPU 为目标的向量在哪里？

崩溃： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py",line 98,in train
    for batch,info,is_best_checkpoint in training_step_iterator:
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py",line 194,in train_while_improving
    nlp.update(
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\language.py",line 1107,in update
    proc.update(examples,sgd=None,losses=losses,**component_cfg[name])
  File "spacy\pipeline\transition_parser.pyx",line 350,in spacy.pipeline.transition_parser.Parser.update
  File "spacy\pipeline\transition_parser.pyx",line 604,in spacy.pipeline.transition_parser.Parser._init_gold_batch
  File "spacy\pipeline\_parser_internals\ner.pyx",line 273,in spacy.pipeline._parser_internals.ner.BiluoPushDown.init_gold
  File "spacy\pipeline\_parser_internals\ner.pyx",line 53,in spacy.pipeline._parser_internals.ner.BiluoGold.__init__
  File "spacy\pipeline\_parser_internals\ner.pyx",line 69,in spacy.pipeline._parser_internals.ner.create_gold_state
  File "spacy\training\example.pyx",line 240,in spacy.training.example.Example.get_aligned_ner
  File "spacy\tokens\doc.pyx",line 698,in spacy.tokens.doc.Doc.ents.__get__
ValueError: [E093] token.ent_iob values make invalid sequence: I without B

解决方法

基本上，如果您在快速入门中选择“GPU”，spaCy 将使用 Transformers 管道，它在架构上与 CPU 管道非常不同。快速入门中的设置是推荐的基本设置，而 spaCy 能够实际使用的设置要广泛得多（训练中的 -gpu 标志就是其中之一）。

Transformers 使用注意力来生成上下文嵌入，因此对于单词没有单个嵌入的真正概念。这些上下文嵌入通常比词嵌入更好。由于这个原因，spaCy Transformers 模型不包括词嵌入。 Transformers 的缺点是它们需要非常强大的硬件，包括 GPU 才能运行。如果您确实拥有强大的 GPU，那么使用 Transformers 通常是有意义的。

CPU 流水线使用的模型不需要专门的硬件，通常运行速度更快，同时仍为许多应用程序提供足够的准确性。如果您没有 GPU，它们基本上也是您唯一的选择。如果你有 GPU，你可以用它来训练非 Transformers 管道，它可能会提供加速，但好处通常并不显着。所以 spaCy 支持在 GPU 上训练非 Transformers 模型，但如果您有 GPU，通常最好使用 Transformers。