为什么 gensim summarise() 有时会返回空白？

如何解决为什么 gensim summarise() 有时会返回空白？

我是 nlp 的初学者，我第一次使用 gensim。 我注意到一些文本返回一个空白摘要。例如：

from gensim.summarization import summarize
text ="The continued digitization of most every sector of society and industry means that an ever-growing volume of data will continue to be generated. The ability to gain insights from these vast datasets is one key to addressing an enormous array of issues — from identifying and treating diseases more effectively,to fighting cyber criminals,to helping organizations operate more effectively to boost the bottom line."
summarize(text,0.6)

返回： ''

当我在其他情况下有相同大小的段落时，它会返回一个摘要，所以我知道这并不是我的比例太小。任何见解表示赞赏！

解决方法

为了回答问题，我假设 Gensim 版本为 3.8.3 - 这是（当前）支持汇总的最新版本，因为版本 4 中不再有 API 存根。

具体来说，在查看 summarize() 的参考时，我们可以阅读以下内容：

获取给定文本的摘要版本。
输出摘要将由最具代表性的句子组成，并以字符串形式返回，由换行符分隔。

突出显示的部分也解释了为什么你的输出是空的：Gensim 使用了一个提取摘要器，它只能选择不同的句子，而不是句子部分。因此，要么选择整个句子（导致没有“摘要”），要么返回空答案。解决这个问题也不是微不足道的，我认为你只有两个（次优）选择之一：

• 采用抽象的总结器。与抽取式摘要相比，抽象模型实际上可以做人类通常从系统中“期望”的事情，即重新措辞和从句子中选择短语以形成更短的输出，而不依赖于句子的选择。但是，此类模型通常需要大量计算，因此 Gensim (AFAIK) 无法提供此类模型。
• 预分块您的文本。如果你可以将你的输入句子合理地分割成几个文本块，这些可以作为“多个句子”的替代品，因此可以让你有一个大致的总结，即使它可能不是很好.

,

请注意，从 gensim-4.0.0 起删除先前的 Gensim 摘要代码的原因是该代码既不是很好，也不是非常适合，也没有任何活跃的项目贡献者能够维护/改进代码。

所以你不应该对它抱有太大期望——尽管你可以继续使用它，如果它对你的目的来说足够好，通过安装旧的 Gensim 或简单地将其源代码提升到另一个兼容许可的项目中。

您特别指出了它不太好的（许多）方式之一：它的“提取摘要”风格可以做的最好的事情是选择一些较少数量的现有句子，它推断出最能代表文本作为一个整体。但是只有 2 个句子，其粗略的词数计算算法基本上无法确定 2 中哪一个更好。 （基本上，没有第三句话可以打破平局。）因此，根据其文档，由于不知道要回答的句子的较小子集，它什么也没有回答。

抽取式摘要最有可能在较大的文本上产生良好的结果，因为这些文本已经以清晰的说明性风格编写 - 作者已经使用了介绍性、更深入的解释和总结性句子的组合。然后，对于算法而言，某些句子将通过字数统计与最大数量的其他句子“最相似”，因此是摘要或关键/重复点的好选择。