在循环中创建过滤后的熊猫数据框的性能不佳需要改进代码的建议

如何解决在循环中创建过滤后的熊猫数据框的性能不佳需要改进代码的建议

我正在研究一些Python代码，这些代码可生成适用于进一步的EDA，BI和特征提取的数据框。

我有一个包含以下列的数据框：

  party_id client_id    date_st
0     pid1     clid1 2019-07-01
1     pid2     clid3 2019-06-15
2     pid3     clid3 2019-06-14
3     pid4     clid2 2019-07-01
4     pid5     clid2 2019-04-03
5     pid6     clid3 2019-04-03
6     pid7     clid1 2019-05-20

其中party_id是唯一的，其他col不是。这意味着一个客户可以代表多个不同的参与方（即使是在一个日期中）。对于特定客户，Party可被视为独特交易。

还有另一个数据框：

   fact_id client_id  fact_date  fact_sum
0     fid1     clid1 2018-06-02     24.37
1     fid2     clid1 2020-10-10      2.62
2     fid3     clid2 2016-01-04     47.52
3     fid4     clid3 2019-06-14     60.42
4     fid5     clid1 2019-04-03     32.77
5     fid6     clid2 2019-04-03     28.95
6     fid7     clid1 2019-05-20     46.49
7     fid8     clid2 2019-07-01     76.10
8     fid9     clid3 2018-12-15     85.27
9    fid10     clid1 2019-02-05     53.00
10   fid11     clid2 2017-03-18     19.25
11   fid12     clid3 2019-04-03     51.14
12   fid13     clid1 2019-02-08     56.89
13   fid14     clid2 2018-11-09     80.51
14   fid15     clid2 2019-08-15     68.08

fact_id是唯一的，其他列不是。 该表表示以前没有直接与交易相关的客户购买。

我需要构造如下的新数据框： 对于应用程序中的每个party_id，我都需要从date_st之前放置但不早于半年（可能会更改）的事实的行的子集。 换句话说，我需要在特定交易之前的一个窗口中进行所有购买。

我不在乎是否在两个日期中一次得到两个相同的client_id，这很正常。客户一天可以有两个不同的交易。而且我不需要任何聚合，因为将在诸如tsfresh的框架中分析此数据框。

到目前为止，如果遍历app ['party_id']并串联过滤后的数据帧，我所能完成的一切工作：

def parse_facts(app,facts,party_id,window):
    clid = app[app['party_id']==party_id]['client_id'].values[0]
    date_st = pd.to_datetime(app[app['party_id']==party_id]['date_st'].values[0])
    temp_df = facts[
        (facts['client_id']==clid)& \
        (facts['fact_date']<date_st)& \
        (facts['fact_date']>=date_st+datetime.timedelta(days=-window))].copy()
    temp_df['party_id'] = party_id
    return temp_df


new_facts = pd.concat([parse_facts(app,i,180) for i in app['party_id'].values],ignore_index=True)

结果数据框应如下所示：

new_facts[['party_id','client_id','fact_date','fact_sum']]

   party_id client_id  fact_date  fact_sum
0      pid1     clid1 2019-04-03     32.77
1      pid1     clid1 2019-05-20     46.49
2      pid1     clid1 2019-02-05     53.00
3      pid1     clid1 2019-02-08     56.89
4      pid2     clid3 2019-06-14     60.42
5      pid2     clid3 2019-04-03     51.14
6      pid3     clid3 2019-04-03     51.14
7      pid4     clid2 2019-04-03     28.95
8      pid5     clid2 2018-11-09     80.51
9      pid6     clid3 2018-12-15     85.27
10     pid7     clid1 2019-04-03     32.77
11     pid7     clid1 2019-02-05     53.00
12     pid7     clid1 2019-02-08     56.89

我已经设法解决了该任务，但是它在整个数据集上的表现非常差：50k个唯一参与者和11m个唯一事实。这样一来，我的机器（96核，512 gb ram）在计算机上运行的日子就很多了。

您能提出一些改进和重构代码的方法吗？我知道循环是不好的样式，但我无法弄清楚在此任务中如何避免循环。

解决方法

首先通过client_id合并数据帧然后过滤掉不良行怎么办？

import pandas as pd
from datetime import timedelta


app['date_bg'] = app['date_st'] - timedelta(days=180)
df = pd.merge(facts,app)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id','client_id','fact_date','fact_sum']]
print(out.sort_values('party_id'))

编辑：
我想到了更高效的内存解决方案：

start_date = datetime(2019,1,1)
outs = []
for i in range(12):
    start = start_date + timedelta(days=i*31)
    start_f = start - timedelta(days=180)
    end = start_date + timedelta(days=(i+1)*31)
    
    app_sub = app[(app['date_st'] > start) & (app['date_st'] <= end)]
    facts_sub = facts[(facts['fact_date'] > start_f) & (facts['fact_date'] <= end)]
    df = pd.merge(facts_sub,app_sub)
    df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
    out = df[df_c][['party_id','fact_sum']]
    outs.append(out)

out = pd.concat(outs)
print(out.sort_values('party_id'))

它根据日期将数据帧分成较小的块，因此没有任何重复项。合并后的数据帧将更小，可以连接成最终输出。