为什么word2vec中的most_like不考虑该术语本身？

如何解决为什么word2vec中的most_like不考虑该术语本身？

我正在从事实体相似性项目。在此方面，word2vec gensim模型中的most_similar工作正常。但是，我也希望将搜索词本身包含在结果中。应该是这样的：

>>> model = Word2Vec(sw_token,min_count=2)
>>> model = gensim.models.KeyedVectors.load("model.bin")
>>> model.wv.most_similar("melanoma",topn=5)

[('melanoma',1.000000),('cutaneous',0.6512814164161682),('uveal',0.6295092701911926),('gp100',0.617050290107727),('ligand-bearing',0.614188551902771)]

官方文件中没有显示任何可以帮助我的内容。此外，如果存在诸如melanoma xyz之类的术语，我们如何在most_like中得到一个更接近的单词？我了解会考虑单词，因此两个单词算作2个而不是一个，因此在这里它们并不相似。也许。谢谢。

解决方法

其行为方式的原因是您的惯用行为不是普遍偏爱：大多数提供单个单词作为原点的用户不需要将相同单词重复作为最佳结果。在 course 中，单词本身与单词最接近，并且其余弦相似度为1.0。 （类似地，当在对类比求解有用的模式下使用此方法– model.most_similar(positive=['queen','man'],negative=['king']] –候选答案中不需要任何提供的单词。）

与Itamar Trainnin's answer notes一样，如果出于某种原因需要这样做，则可以自己添加公理化结果。

还请注意，如果您提供原始向量作为原点，而不是使用关键字来查找原点，则不会根据提供的键对结果进行过滤。因此，以下结果中将包含'melanoma'：

model.wv.most_similar(positive=[model.wv['melanoma']],topn=5)

“如果存在melanoma xyz之类的术语，我们怎么能在most_similar中得到一个更接近的词”，这意味着什么。可能已经使用单词'melanoma xyz'训练了您的模型。 （如果在模型创建和训练期间以足够数量的单词令牌提供了该单词令牌，则会为该令牌学习单词向量。当该令牌位于most_similar()的最高结果中时，该令牌将被返回。查询。

但是，如果模型没有使用这样的标记进行训练，则该字符串将没有任何向量，因此'melanoma xyz'不能是返回的结果。 （而且，如果将其作为来源提供，则会创建一个KeyError。）

如果'melanoma xyz'在您的域中是一个独特的概念，您希望将其视为自己的单词（并获得自己的单词向量），则可以考虑更改初始标记，以将其保留为单位，而不是将其分解为['melanoma','xyz']。这可以通过一些精选的单词组合列表来组合，也可以使用Gensim Phrases class提供的统计分析来完成。 （为清楚起见，最典型的做法是使用明确的下划线'_'将此类令牌重新分组为单个令牌。）在对此类文本进行训练之后，'melanoma_xyz'将具有单词向量，从而获得学习的知识，向量。

如果一开始没有这样的显式多词组合选项，则还可以考虑：

1. 当您使用类似'melanoma xyz'的字符串作为查询时，请将其拆分为两个词– ['melanoma','xyz'] –并创建两个词的平均值的单个向量（如果两个词均独立存在于您的模型中）。这很粗糙，但总比没有好。

2. 考虑使用类似FastText的模型-做（1）的增压版本，其中任何单词的每个片段都对其单词向量有所贡献。因此，当提供一个完全未知的单词时，只要与训练中看到的单词片段（例如'mela'或'noma'或'xyz'）重叠，就可以创建一个粗糙的单词向量。 （这种向量不好，但通常总比没有好，尽管结果集中的单词列表仍只包括实际在培训中的单词。）

,

关于将搜索词包括在最相似的列表中，您可以手动将其添加到输出列表的开头。由于令牌与其自身的余弦相似度为1，因此它应始终是返回列表中的第一个令牌。

关于包括诸如melanoma xyz之类的术语，您可以在训练之前遍历语料，并使用'_'-melanoma_xyz将所有此类术语合并为一个标记。请注意，通过这种方式，您将获得“黑色素瘤”和melanoma_xyz的不同载体。希望它们在向量空间中彼此靠近。

,

之所以会发生这种情况，是因为单词在单词周围重复的几率几乎为零。在其上训练word2vec的语料库很可能在任何地方都没有字符串“ melanoma melanoma”。获得“黑素瘤”的嵌入式单词向量后，将与“黑素瘤”最大化的点积的向量将是“黑素瘤”本身，但这种情况不在输入语料库中出现。