获取具有两个特定关键字的行

如何解决获取具有两个特定关键字的行

我有一个包含一对关键字（“ k1”，“ k2”）的列表。这是一个示例：

print (word_pairs)
--->[('salaire','dépense'),('gratuité','argent'),('causesmwedemwelamwemort','cadres'),('caractèresmwedumwedispositif','historique'),('psychomotricienmwediplôme','infirmier'),('impôtmwesurmwelesmweréunionsmwesportives','compensation'),('affichage','affichagemweopinion'),('délaimweprorogation','défaillance'),('créancemwenotion','généralités')]

我有一个文本文件r_isa.txt（205MB），其中包含共享“ isa”关系的单词。这是一个示例，其中\t代表文字的制表符：

égalité de Parseval\tformule_0.9333\tégalité_1.0
filiation illégitime\tfiliation_1.0
Loi reconnaissant l'égalité\tloi_1.0
égalité entre les sexes\tégalité_1.0
liberté égalité fraternité\tliberté_1.0

这基本上意味着，“égalitéde Parseval”是一个“公式”，得分为0.9333，而isa“égalité”是一个得分，所以继续。.

我想根据r_isa文件知道关键字k1是否为k2，以及k2是否为-k1。在输出文件上，我想在每一行上保存确实具有is-a关系的一对单词。

这就是我所做的：

#Reading data as list
keywords = [line for line in open('version_final_PMI_espace.txt',encoding='utf8')]
keywords = ast.literal_eval(keywords[0])
word_pairs = []

for k,v in keywords.items():
    if v:
        word_pairs.append((k,v[0][0]))
len(list(set(word_pairs)))
 #####  


with open("r_isa.txt",encoding="utf-8") as readfile,open('Hyperonymy_file_pair.txt','w') as writefile:
    for line in readfile:
        firstfield = line.split('\t')[0].lower()
        for w in word_pairs:
            if w[0]==firstfield:
                if w[1] in line: 
                    writefile.write("".join(w[0]) + "\t"+"".join(w[1]) +"\n" )

例如，这会向我返回随机对：

salaire\targent
dépense\tcadres

而不是（如果存在现有的isa关系）

salaire\tdépense
causesmwedemwelamwemort\tcadres

我哪里出错了？

解决方法

更新后的答案

语句if w[1] in line:非常可疑。请参阅以下代码，了解我认为逻辑应该是什么。由于我无权访问您的文件，因此我将readfile变成了一个字符串列表以进行测试，而不是将输出写入writefile，而是在打印一些结果。我为word_pairs和readfile添加了一些值，以便得到一些结果。另外请注意，如果要将输入文件转换为小写，则单词​​对也必须为小写。

此代码检查k1是否为k2，如果不是，则检查k2是否为k1。

word_pairs = [('égalité de parseval','égalité'),('salaire','dépense'),('gratuité','argent'),('causesmwedemwelamwemort','cadres'),('caractèresmwedumwedispositif','historique'),('psychomotricienmwediplôme','infirmier'),('impôtmwesurmwelesmweréunionsmwesportives','compensation'),('affichage','affichagemweopinion'),('délaimweprorogation','défaillance'),('créancemwenotion','généralités')]
word_pairs2 = [(pair[1],pair[0]) for pair in word_pairs] # reverse the words
word_dict = dict(word_pairs) # create a dictionary for fast searching
word_dict2 = dict(word_pairs2)

readfile = [
    'égalité de Parseval\tformule_0.9333\tégalité_1.0','filiation illégitime\tfiliation_1.0','Loi reconnaissant l\'égalité\tloi_1.0','égalité entre les sexes\tégalité_1.0','liberté égalité fraternité\tliberté_1.0','dépense\tsalaire_.9'
]

for line in readfile:
    fields = line.lower().split('\t')
    first_word = fields.pop(0)
    isa_word = word_dict.get(first_word,word_dict2.get(first_word)) # check k2 isa k1 if k1 isa k2 is false
    if isa_word is not None:
        for field in fields: # check each one
            fields2 = field.split('_')
            second_word,score = fields2
            if second_word == isa_word:
                print(first_word,second_word,score)

打印：

égalité de parseval égalité 1.0
dépense salaire .9

如果k1 is a k2 和 k2 isa k1可能，那么您需要更通用（但更复杂）的代码：

word_pairs = [('égalité de parseval','salaire\tdépense_1.0','dépense\tsalaire_.9'
]

for line in readfile:
    fields = line.lower().split('\t')
    first_word = fields.pop(0)
    # k1 isa k2?
    isa_word = word_dict.get(first_word)
    if isa_word is not None:
        for field in fields: # check each one
            fields2 = field.split('_')
            second_word,score)
    # k2 isa k1?
    isa_word = word_dict2.get(first_word)
    if isa_word is not None:
        for field in fields: # check each one
            fields2 = field.split('_')
            second_word,score)

打印：

égalité de parseval égalité 1.0
salaire dépense 1.0
dépense salaire .9

,

kw = [('salaire','généralités')]

lines_from_file = ['égalité de Parseval\tformule_0.9333\tégalité_1.0','créancemwenotion\tgénéralités_1.0','généralités\tcréancemwenotion_1.0']

who_is_who_dict = {}
for line in lines_from_file:
    words = line.split('\t')
    key = words[0]
    other_words = [w.split('_')[0] for w in words[1:]]
    if key in who_is_who_dict:
        who_is_who_dict[key] = who_is_who_dict[key] + other_words
    else:
        who_is_who_dict[key] = other_words

pairs_to_write = []
for kw1,kw2 in kw:
    if (kw1 in who_is_who_dict and kw2 in who_is_who_dict[kw1]
            and kw2 in who_is_who_dict and kw1 in who_is_who_dict[kw2]):
        pairs_to_write.append((kw1,kw2))

print(pairs_to_write)

输出：

[('créancemwenotion','généralités')]