如何解决使用 Gensim 预训练的 GloVe 处理词汇不足的单词
我正在处理 NLP 作业并加载了 Gensim 提供的 GloVe 向量:
<?xml version="1.0" encoding="UTF-8"?>
<root>
<even>
<num>2</num>
<num>4</num>
<num>6</num>
<num>8</num>
<num>10</num>
</even>
<odd>
<num>1</num>
<num>3</num>
<num>5</num>
<num>7</num>
<num>9</num>
</odd>
</root>
我正在尝试获取句子中每个单词的词嵌入,但其中一些不在词汇表中。
使用 Gensim API 处理它的最佳方法是什么?
谢谢!
解决方法
加载model:
import gensim.downloader as api
model = api.load("glove-twitter-25") # load glove vectors
# model.most_similar("cat") # show words that similar to word 'cat'
有一种非常简单的方法可以确定模型的词汇表中是否存在这些词。
result = print('Word exists') if word in model.wv.vocab else print('Word does not exist")
除此之外,我还使用以下逻辑创建了带有 N 个标记的句子嵌入(25 暗):
from __future__ import print_function,division
import os
import re
import sys
import regex
import numpy as np
from functools import partial
from fuzzywuzzy import process
from Levenshtein import ratio as lev_ratio
import gensim
import tempfile
def vocab_check(model,word):
similar_words = model.most_similar(word)
match_ratio = 0.
match_word = ''
for sim_word,sim_score in similar_words:
ratio = lev_ratio(word,sim_word)
if ratio > match_ratio:
match_word = sim_word
if match_word == '':
return similar_words[0][1]
return model.similarity(word,match_word)
def sentence2vector(model,sent,dim=25):
words = sent.split(' ')
emb = [model[w.strip()] for w in words]
weights = [1. if w in model.wv.vocab else vocab_check(model,w) for w in words]
if len(emb) == 0:
sent_vec = np.zeros(dim,dtype=np.float16)
else:
sent_vec = np.dot(weights,emb)
sent_vec = sent_vec.astype("float16")
return sent_vec
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。