在熊猫中模糊搜索列

如何解决在熊猫中模糊搜索列

是否可以使用FuzzyWuzzy或类似的库在数据框列中搜索值？ 我试图在考虑模糊匹配的同时在一个列中找到一个值，该值对应于另一列中的值。所以

因此，例如，如果我在一栏中有州名，而在另一栏中有州代码，我将如何找到佛罗里达州的州代码（在餐饮时为FL）缩写为“ Flor”？

换句话说，我想找到一个与“ Flor”相对应的州名的匹配项，并获得相应的州代码“ FL”。

非常感谢您的帮助。

解决方法

如果缩写全为前缀 ，则可以对状态的短版本或长版本使用.startswith()字符串方法。

>>> test_value = "Flor"
>>> test_value.upper().startswith("FL")
True
>>> "Florida".lower().startswith(test_value.lower())
True

但是，如果您使用更复杂的缩写，difflib.get_close_matches可能会做您想要的！

>>> import pandas as pd
>>> import difflib
>>> df = pd.DataFrame({"states": ("Florida","Texas"),"st": ("FL","TX")})
>>> df
    states  st
0  Florida  FL
1    Texas  TX
>>> difflib.get_close_matches("Flor",df["states"].to_list())
['Florida']
>>> difflib.get_close_matches("x",df["states"].to_list(),cutoff=0.2)
['Texas']
>>> df["st"][df.index[df["states"]=="Texas"]].iloc[0]
'TX'

您可能想要尝试/除IndexError以外，从difflib读取返回列表的第一个成员，并可能调整截止值以减少具有关闭状态的错误匹配（也许将所有状态都提供为 （对于某些用户来说还是可能的）。

您可能还会看到结合这两者的最佳结果；在尝试模糊匹配之前，先测试前缀。

将它们放在一起

def state_from_partial(test_text,df,col_fullnames,col_shortnames):
    if len(test_text) < 2:
        raise ValueError("must have at least 2 characters")

    # if there's exactly two characters,try to directly match short name
    if len(test_text) == 2 and test_text.upper() in df[col_shortnames]:
        return test_text.upper()

    states = df[col_fullnames].to_list()
    match = None
    # this will definitely fail at least for states starting with M or New
    #for state in states:
    #    if state.lower().startswith(test_text.lower())
    #        match = state
    #        break  # leave loop and prepare to find the prefix

    if not match:
        try:  # see if there's a fuzzy match
            match = difflib.get_close_matches(test_text,states)[0]  # cutoff=0.6
        except IndexError:
            pass  # consider matching against a list of problematic states with different cutoff

    if match:
        return df[col_shortnames][df.index[df[col_fullnames]==match]].iloc[0]

    raise ValueError("couldn't find a state matching partial: {}".format(test_text))

当心以'New'或'M'（可能还有其他）开头的状态，它们都非常接近并且可能需要特殊处理。测试将在这里创造奇迹。