模糊匹配Pythonurl中大量文本中的字符串

如何解决模糊匹配Pythonurl中大量文本中的字符串

| 我有一个公司名称列表，还有一个URL提及公司名称的列表。 最终目标是调查URL，并找出URL列表中有多少家公司。 网址示例：http://www.dmx.com/about/our-clients 每个URL的结构都不同，因此我没有一个很好的方法来进行正则表达式搜索并为每个公司名称创建单独的字符串。 我想建立一个for循环，以从列表中的URL的全部内容中搜索每个公司。但是似乎Levenshtein对于两个较小的字符串，而不是一个较短的字符串和一个较大的文本主体，是更好的选择。 这个初学者应该在哪里看？     

解决方法

这听起来不像我需要任何“模糊”匹配。我假设当您说\“ url \”时，是指\“ URL指向的地址处的网页。\”只需使用Python的内置子字符串搜索功能：

>>> import urllib2
>>> webpage = urllib2.urlopen(\'http://www.dmx.com/about/our-clients\')
>>> webpage_text = webpage.read()
>>> webpage.close()
>>> for name in [\'Caribou Coffee\',\'Express\',\'Sears\']:
...     if name in webpage_text:
...         print name,\"found!\"
... 
Caribou Coffee found!
Express found!
>>> 

如果您担心字符串大写不匹配，只需将其全部转换为大写即可。

>>> webpage_text = webpage_text.upper()
>>> for name in [\'CARIBOU COFFEE\',\'EXPRESS\',\'SEARS\']:
...     if name in webpage_text:
...         print name,\'found!\'
... 
CARIBOU COFFEE found!
EXPRESS found!

    ,我想补充一下senderle的答案，以某种方式规范化您的姓名可能有意义（例如，删除所有特殊字符，然后将其应用于webpage_text和字符串列表）。

def normalize_str(some_str):
    some_str = some_str.lower()
    for c in \"\"\"-?\'\"/{}[]()&!,.`\"\"\":
        some_str = some_str.replace(c,\"\")
    return some_str

如果这还不够好，您可以转到difflib并执行以下操作：

for client in normalized_client_names:
    closest_client = difflib.get_closest_match(client_name,webpage_text,1,0.8)
    if len(closest_client) > 0:
         print client_name,\"found as\",closest_client[0]

我选择的任意临界值（Ratcliff / Obershelp）为0.8可能太宽容或太苛刻；玩一点。