如何基于匹配值的辅助数据框的条件来填充主数据框列中的NaN以用多个填充值填充NaN

如何解决如何基于匹配值的辅助数据框的条件来填充主数据框列中的NaN以用多个填充值填充NaN

我需要基于由groupby和mean函数创建的第二个数据帧在主数据帧中填充NA值。我的原始数据框需要填充约1.5K NaN，因此需要大规模重现。我创建了一个伪造的数据框，它使用伪造的场景对我的数据进行了短暂而又肮脏的模仿。我无法与您分享我的真实数据。

我的一般想法是：

main_data[
          (main_data["Animal_Type"] == mean_data["Animal_Type"]) & 
          (main_data["Cost_Type"] == mean_data["Cost_Type"])
         ] = main_data["Price"].fillna(mean_data["Price"])

很显然，这是行不通的，但这是我的逻辑运作方式的一般要旨。我找到了[他的答案] [1]，但看不到将其正确地应用于我的问题。很多答案都涉及mask，或者假设我的数据很小，只有一个值可以替换我所有的NaN。我的原始数据集中有大约50种不同的均值，每种“成本类型”分别与“动物类型”配对。我的原始数据帧大约有3万个观测值，而且充满了独特的观测值。我可以映射，但这仅适用于单个列。我对编码还很陌生，因此许多其他答案对我来说也太复杂了。

main_data

mean_data.head(10)

   **Pet_ID Animal_Type Cost_Type   Price**
0   101     Goat        Housing     6.0
1   102     Dog         Housing     6.0
2   103     Horse       Housing     NaN
3   104     Horse       Housing     5.0
4   105     Goat        Housing     3.0
5   106     Dog         Feeding     3.0
6   107     Cat         Feeding     6.0
7   108     Horse       Housing     6.0
8   109     Hamster     Feeding     5.0
9   110     Horse       Feeding     3.0

平均数据

    Animal_Type Cost_Type   Price
0   Cat         Feeding     4.500000
1   Cat         Housing     5.000000
2   Chicken     Feeding     5.000000
3   Chicken     Housing     4.500000
4   Dog         Feeding     3.000000
5   Dog         Housing     6.000000
6   Goat        Feeding     5.000000
7   Goat        Housing     5.000000
8   Hamster     Feeding     5.250000
9   Hamster     Housing     3.000000
10  Horse       Feeding     3.500000
11  Horse       Housing     5.666667
12  Rabit       Feeding     3.000000
13  Rabit       Housing     3.000000

我的可复制代码：

random.seed(10)

random.seed(10)

main_data = pd.DataFrame(columns = ["Pet_ID","Animal_Type","Cost_Type","Price","Cost"])

main_data["Pet_ID"] = pd.Series(list(range(101,150)))
main_data["Animal_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Dog","Cat","Rabit","Horse","Goat","Chicken","Hamster"])) 
main_data["Cost_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Housing","Feeding"])) 
main_data["Price"] = main_data.Price.apply(lambda x: random.choice([3,5,6,np.nan])) 
main_data["Cost"] =  main_data.Cost.apply(lambda x: random.choice([2,1,3,np.nan])) 

mean_data = main_data.groupby(["Animal_Type","Cost_Type"])["Price"].mean().reset_index()

编辑：我已经提出了两种解决方案，但我不会说这是更优雅或更可靠的解决方案。可能也不是最有效的。

main_data = pd.merge(
    main_data,mean_data,on = ["Animal_Type","Cost_Type"],how = "left"
)

main_data["Price_z"] = main_data["Price_x"].fillna(main_data["Price_y"])

编辑2 ：我添加了带有NaN的“费用”列。我不想触及此列，但希望对价格列使用与本列相同的方法。 [1]：Replace values based on multiple conditions with groupby mean in Pandas

解决方法

我需要根据由>>> list(gen_substrs_with_replacement(2,3)) [('a',),('b',('c',('a','a'),'b'),'c'),'c')] >>> len(list(gen_substrs_with_replacement(2,3))) 9 >>> nCk_r(2,3,True) 9 >>> len(list(gen_substrs_with_replacement(12,10))) 646645 >>> nCk_r(12,10,True) 646645 和groupby函数创建的第二个数据帧在主数据帧中填充NA值。

您不需要这一步。您可以通过将其分组为多个数据帧，在每个数据帧上应用均值并在该数据帧内填充NA值来一步一步实现。

因此，不要创建mean数据框，而是这样做：

mean_data

每次单独调用fill_by_mean（）都会看到一个数据框，如下所示：

def fill_by_mean(df):
    df["Price"] = df["Price"].fillna(df["Price"].mean())
    return df

main_data = main_data.groupby(["Animal_Type","Cost_Type"]).apply(fill_by_mean)

然后，它获取价格列的均值并使用该值填充NA值。然后，Groupby将所有单个数据帧重新连接在一起。