在给定列表的列中查找重复项

如何解决在给定列表的列中查找重复项

示例csv看起来像这样：

    name,id
    row1,1
    row2,2
    row3,3
    custom,test
    custom,test2
    row1,4

我为要检查重复项的每一行定义了一个字符串nameRows = ['row1','row2','row3']数组。如何仅检查“名称”列下nameRows中的行是否重复？并忽略其他重复的行，例如“ custom”。我只想要一条打印语句，说print（'{0}是名称列中的重复行'.format（row））

与半相关，我目前正在名称列下存在非常必要的行，也许我可以使用相同的for循环来查找错误...？

for row in nameRows:
    if row not in df['name'].values:
        print("Required {0} row 'name' not found in the csv file.".format(row))

解决方法

选项1

nameRows = ['row1','row2','row3']

for row in nameRows:
    if len(df[df['name'].str.contains(row,na=False)]) > 1:
       print(f'Row {row} is duplicate')

选项2

nameRows = ['row1','row3']

for row in nameRows:
    if len(df[df['name'] == row]) > 1:
       print(f'Row {row} is duplicate')

如果要反过来，请使用不条件。

,

使用isin和duplicated制作遮罩

msk=df.name.duplicated(keep='last') & df.name.isin(nameRows)
s=df[msk].name

print(s)

0    row1
Name: name,dtype: object

并根据需要进行打印：

for row in s:
    print(f'{row} is duplicated')

>>>row1 is duplicated

,

您可以使用以下方式拆分df

mask = df.name.isin(nameRows) # boolean mask
check = df.loc[mask,:]
nocheck = df.loc[~mask,:]

然后拖放重复并串联起来

df = pd.concat([
    check.drop_duplicates(subset=['name'],inplace=True),nocheck],ignore_index=True)

并查找数据框中没有的名称

not_found = list(set(nameRows) - set(df.names))