熊猫-根据多个匹配的列值更新/合并2个数据框

如何解决熊猫-根据多个匹配的列值更新/合并2个数据框

我有2个数据帧left_df和right-df，它们都有20个具有相同名称和dtypes的列。 right_df还有两列，每行都有唯一的值。

我想用right_df中的所有值更新left_df中的行，其中在两个数据帧中，列子集matching_cols = ['col_1','col_3','col_10','col_12']的列表中ALL列中的值都相同。 right_df中另外2个唯一列中的值应保留。

理想情况下，我也想将left_df中的那些行放在同一命令中，或者如果不可能的话，作为下一个命令。我需要多次执行此过程，在几个不同的列列表上进行匹配，left_df在每个循环中删除匹配的行，直到最终找不到进一步的匹配。

可接受的替代方法是创建新数据框new_df的任何方法，该数据框包含列表matching_cols中所有指定列均匹配的行集，第一个值来自left_df其余2列中有20列和right_df中的值。

我不在乎在任何一个数据帧中的任何地方都保留索引，我将其导入到SQL之后，并将最后在两个right_df值之一上对其重新索引。

Pandas的新手，无法确定使用哪种方法，尝试了.merge，.join，.update等的变体，但似乎无法指定仅更新当我所需的列值全部匹配时，或者如何删除这些行/将其导出到新的df中。

更新：在下面添加了伪代码：

对于left_df为：

left_df = pd.DataFrame({
   'col_0': ['0','1','2','3','4','5'],'col_1': ['A','B','C','D','E','F'],'col_2': ['new','new','new'],'col_3': ['new','col_4': ['new','col_5': ['new','col_6': ['new','col_7': ['new',})

和一个right_df为：

right_df = pd.DataFrame({
   'col_0': ['0','X','col_2': ['old','old','old'],'col_3': ['old','col_4': ['old','col_5': ['old','col_6': ['old','col_7': ['old','col_8': ['uid_0','uid_1','uid_2','uid_3','uid_4','uid_5'],'col_9': ['uid_a','uid_b','uid_c','uid_d','uid_e','uid_f'],})

matching_cols = ['col_0','col_1']

我想获得以下结果，无论是作为新数据框还是在right_df上就位（请注意，col_1在第3行上不匹配，因此不会更改）

  col_0 col_1 col_2 col_3 col_4 col_5 col_6 col_7  col_8  col_9
0     0     A   new   new   new   new   new   new  uid_0  uid_a
1     1     B   new   new   new   new   new   new  uid_1  uid_b
2     2     C   new   new   new   new   new   new  uid_2  uid_c
3     3     X   old   old   old   old   old   old  uid_3  uid_d
4     4     E   new   new   new   new   new   new  uid_4  uid_e
5     5     F   new   new   new   new   new   new  uid_5  uid_f

解决方法

尝试一下

new_df=pd.concat([left_df,right_df.iloc[:,-1:-3]],axis=1)

,

借助this post和Pandas文档来解决：

首先，这是我需要的.merge，对于仅要从'_r'复制的列/我要更新的旧值，我将后缀指定为right_df。

merged_df = pd.merge(left_df,right_df,on=['col_0','col_1'],suffixes=(None,'_r'))

这将产生一个新的数据框，其中的行包含新列和旧列，仅适用于on=['col_0','col_1']列中的值匹配的每个数据框中的行。然后，通过在文本'_r'上使用正则表达式过滤器来删除“旧”列：

merged_df.drop(list(merged_df.filter(regex = '_r')),axis=1,inplace=True)

这将产生一个仅包含“已修改”行而没有未修改行的数据框，该数据框足够接近我的需要。

  col_0 col_1 col_2 col_3 col_4 col_5 col_6 col_7  col_8  col_9
0     0     A   new   new   new   new   new   new  uid_0  uid_a
1     1     B   new   new   new   new   new   new  uid_1  uid_b
2     2     C   new   new   new   new   new   new  uid_2  uid_c
3     4     E   new   new   new   new   new   new  uid_4  uid_e
4     5     F   new   new   new   new   new   new  uid_5  uid_f