熊猫计算日期之间的值总和来自另一个df

如何解决熊猫计算日期之间的值总和来自另一个df

第一次在这里发布。 我想通过MachineID在列中找到值的累积总和（我认为应该为此使用groupby？）来查找另一个df中的日期时间范围。最小代码：

import numpy as np
import pandas as pd
import datetime as dt

#Define first dataframe
d1 = {'DateTime': [dt.datetime(2019,10,1),dt.datetime(2019,11,15),12,dt.datetime(2020,1,1)],'MachineID': [1,3,1]}
df1 = pd.DataFrame(data=d1)

#Define second dataframe
d2 = {'DateTime': [dt.datetime(2019,5),5)],1],'ExperimentalValue':[5.5,7.1,3.9,113]}
df2 = pd.DataFrame(data=d2)

示例数据帧如下：

df1
Out[65]: 
    DateTime  MachineID
0 2019-10-01          1
1 2019-11-15          1
2 2019-12-01          3
3 2020-01-01          1

df2
Out[69]: 
    DateTime  MachineID  ExperimentalValue
0 2019-10-05          1                5.5
1 2019-11-05          1                7.1
2 2019-12-05          3                3.9
3 2020-01-05          1              113.0

对于每个MachineID，我想在df1中为该专用机器找到的DateTimes之间的日期中，在ExperimentValue列中找到值的累积总和。例如。对于MachineID = 1，在df1中找到的第一个DateTime范围是[2019-10-01; [2019-11-15]，使用此日期范围来查找df2中MachineID 1的实验值的累积总和：

    DateTime  MachineID  ExperimentalValue  CumSum
0 2019-10-05          1                5.5  5.5
1 2019-11-05          1                7.1  12.6
2 2019-12-05          3                3.9  3.9
3 2020-01-05          1              113.0  113.0

请注意，只有前两行相加（在第2行中），因为它们是唯一具有相同MachineID和相同日期时间范围（从df1开始）的

我不知道该如何实现。预先感谢。

解决方法

IIUC，每次MachineID更改时，CumSum都会重新启动，因此我们无法按MachineID进行分组。我创建了一个名为block_id的新列来跟踪此更改。我从df2的原始定义开始：

# MachineID on current row vs previous row
df2['block_id'] = df2['MachineID'] != df2['MachineID'].shift(1)

# cumulative sum of boolean increases each time the MachineID changes
df2['block_id'] = df2['block_id'].cumsum()

df2['CumSum'] = df2.groupby('block_id')['ExperimentalValue'].cumsum()

print(df2)

    DateTime  MachineID  ExperimentalValue  block_id  CumSum
0 2019-10-05          1                5.5         1     5.5
1 2019-11-05          1                7.1         1    12.6
2 2019-12-05          3                3.9         2     3.9
3 2020-01-05          1              113.0         3   113.0

您可能想要删除block_id列，但我将其留在其中以显示逻辑。

,

以下是有关使用第一个数据帧的其他信息。

• 我假设每一行都意味着一台机器在给定日期启动（或停止）。
• 目标是在同一行中获取开始时间和停止时间。
• 如果没有停止时间，则机器仍在运行。

# start with df1 as defined in original post
#
# a machine cycles: start -> stop -> start -> ...
# make a label to identify `start event` vs `stop event`
df1['range'] = ((df1['MachineID'] != df1['MachineID'].shift(1)).astype(int))

# identify the stop/start pairs
df1['idx'] = df1['range'].cumsum()

# re-shape the data frame
df1 = (df1.set_index(['MachineID','idx','range'])
       .squeeze()     # Data Frame -> Series
       .unstack()     # range (start/stop) to column label
       .sort_index(axis=1,ascending=False)
       .reset_index()
       .rename(columns={1: 'start',0: 'end'})
      )

# end date missing?  machine still going
df1['end'] = df1['end'].fillna(pd.Timestamp('2099-12-31'))

# clean up and print
df1.columns.name = ''
print(df1)

   MachineID  idx      start        end
0          1    1 2019-10-01 2019-11-15
1          1    3 2020-01-01 2099-12-31
2          3    2 2019-12-01 2099-12-31

现在您可以组合df1和df2。例如，对于df2中的给定行：我们在第一个开始/停止周期，第二个周期中吗...