如何解决Gloves2word2vec的输出与keyed_vectors.save有何不同?
我是NLP的新手,我遇到了一个我根本不了解的问题:
我有一个带有gloVe矢量的文本文件。 我使用
将其转换为Word2Vecglove2word2vec(TXT_FILE_PATH,KV_FILE_PATH)
这会在我的路径中创建一个KV文件,然后可以使用加载该文件
word_vectors = KeyedVectors.load_word2vec_format(KV_FILE_PATH,binary=False)
然后我使用
保存它word_vectors.save(KV_FILE_PATH)
但是当我现在尝试以intersect_word2vec_format使用新的KV文件时,它给了我一个编码错误
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-11-d975bb14af37> in <module>
6
7 print("Intersect with pre-trained model...")
----> 8 model.intersect_word2vec_format(KV_FILE_PATH,binary=False)
9
10 print("Train custom word2vec model...")
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/gensim/models/word2vec.py in intersect_word2vec_format(self,fname,lockf,binary,encoding,unicode_errors)
890 logger.info("loading projection weights from %s",fname)
891 with utils.open(fname,'rb') as fin:
--> 892 header = utils.to_unicode(fin.readline(),encoding=encoding)
893 vocab_size,vector_size = (int(x) for x in header.split()) # throws for invalid file format
894 if not vector_size == self.wv.vector_size:
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/gensim/utils.py in any2unicode(text,errors)
366 if isinstance(text,unicode):
367 return text
--> 368 return unicode(text,errors=errors)
369
370
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
解决方法
.save()
方法以Gensim的本机格式保存模型-主要是Python酸洗,将大型数组作为单独的文件(必须与主保存文件一起保存)。
该格式不同于word2vec_format
或load_word2vec_format()
可以加载的intersect_word2vec_format()
。
如果要将一组矢量保存到word2vec_format
中,请使用方法.save_word2vec_format()
,而不是普通的.save()
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。