词向量相似度精度

如何解决词向量相似度精度

我正在尝试手动实现 Gensim 的 most_similar 函数，但计算查询词与其他一个词之间的相似度（避免使用 all 为查询词计算它的时间也就是说）。到目前为止我使用

cossim = (np.dot(a,b)
                   / np.linalg.norm(a)
                   / np.linalg.norm(b))

这与a和b之间的相似度结果相同。我发现这几乎完全有效，但是丢失了一些精度，例如

from gensim.models.word2vec import Word2Vec
import gensim.downloader as api

model_gigaword = api.load("glove-wiki-gigaword-300")

a = 'france'
b = 'chirac'

cossim1 = model_gigaword.most_similar(a)
import numpy as np
cossim2 = (np.dot(model_gigaword[a],model_gigaword[b])
                   / np.linalg.norm(model_gigaword[a])
                   / np.linalg.norm(model_gigaword[b]))
print(cossim1)
print(cossim2)

输出：

[('french',0.7344760894775391),('paris',0.6580672264099121),('belgium',0.620672345161438),('spain',0.573593258857727),('italy',0.5643460154533386),('germany',0.5567398071289062),('prohertrib',0.5564222931861877),('britain',0.5553334355354309),('chirac',0.5362644195556641),('switzerland',0.5320892333984375)]
0.53626436

所以 most_similar 函数给出了 0.53626441955...（四舍五入到 0.53626442），用 numpy 计算给出了 0.53626436。同样，您可以看到 'paris' 和 'italy' 的值之间的差异（与 'france' 相比具有相似性）。这些差异表明计算没有完全精确（但它在 Gensim 中）。我如何修复它并获得更高精度的单个相似度的输出，就像它来自 most_similar 一样？

TL/DR - 我想使用 function('france','chirac') 并得到 0.5362644195556641，而不是 0.53626436。

知道发生了什么吗？

---

更新：我应该澄清一下，我想知道并复制 most_similar 如何进行计算，但只有一对 (a,b) 。这是我的首要任务，而不是找出如何提高上述 cossim 计算的精度。我只是假设两者是等价的。

解决方法

为了提高准确性，您可以尝试以下操作：

a = np.array(model_gigaword[a]).astype('float128')
b = np.array(model_gigaword[b]).astype('float128')
cossim = (np.dot(a,b)
                   / np.linalg.norm(a)
                   / np.linalg.norm(b))

向量可能使用较低精度的浮点数，因此在计算中存在精度损失。

但是，我得到的结果与 model_gigaword.most_similar 为您提供的结果有些不同：

model_gigaword.similarity: 0.5362644
float64:  0.5362644263010196
float128: 0.53626442630101950744

您可能想检查一下您在机器上获得的内容以及您的 Python 和 gensim 版本。

,

因为浮点数（如这些向量模型中的 np.float32 类型值）使用不精确的二进制近似表示，所以您正在处理或显示的数字都不是精确的十进制数你认为他们是。

您看到的 0.53626436 数字并非完全如此 - 而是一些非常接近该数字的二进制浮点数。类似地，您看到的 0.5362644195556641 并不完全是这个数，而是一些其他的二进制浮点数，非常接近那个数。

此外，这些微小的不精确可能意味着，在理想情况下，无论求值顺序如何，数学表达式都应该给出相同的结果，而对于不同的求值顺序，给出的结果略有不同。例如，我们知道在数学上，a * (b + c) 总是等于 ab + ac。但是，如果 a、b 和 c 是精度有限的浮点数，则先加法再乘法与先两次乘法再一次加法的结果可能会有所不同 -因为中间值的近似值会略有不同。

但是：对于几乎所有使用这些数字的域，这种微小的噪音都不应该产生任何影响。正确的策略是忽略它，并以极低的显着性数字编写对这种小的“抖动”具有鲁棒性的代码 - 特别是在打印或比较结果时。 >

因此，实际上您应该只将这些数字打印/比较到它们可靠一致的重要性级别，例如小数点后 4 位：

0.53626436 
0.5362644195556641

（实际上，您的输出已经使它看起来好像您可能已经更改了 numpy 或 python 中的默认显示精度级别，因为它不会most_simlar() 的结果通常显示为小数点后的 16 位数字。）

如果您真的、真的想要（作为探索）完全匹配 most_similar() 结果，您可以查看其源代码。然后，以完全相同的顺序，使用完全相同的库例程，对您的输入执行完全相同的步骤。

（这是当前 most_similar() 预发行版中 gensim-4.0.0beta 的来源：https://github.com/RaRe-Technologies/gensim/blob/4.0.0beta/gensim/models/keyedvectors.py#L690）

但是：考虑到浮点数学固有的不精确性，坚持如此精确的对应通常是不明智的，并且会创建更脆弱的代码。

另见：another answer covering some similar issues，它还指出了一种更改默认显示精度的方法。