如何解决是否有熊猫函数来计算时间戳之间的事件？
我的数据只有10万行和以下列：
-
Time（yyyy-MM-dd hh：mm：ss.ffffff）， -
ID（字符串） -
Group1（int32）， -
Group2（int32）。
在5分钟的时间范围内，我想计算出每个事件之前来自同一Group1和Group2的事件数。
例如：
ID Time Group1 Group2
61ED2269CCAC 2020-07-27 00:01:05.781 1234 100123
61C2DC4E96FA 2020-07-27 00:01:17.279 1234 100123
FAD0839C1A95 2020-07-27 00:02:38.112 1234 100124
A2750A7B6C24 2020-07-27 00:16:50.592 4321 100123
03F5DF150A3C 2020-07-27 00:17:00.246 4321 100124
在Timestamp('2020-07-26 23:56:17.279000')之后（第二个事件之前5分钟）发生了多少个事件，它们属于Group1和Group2组？因此，在此示例中，第二个事件的计数器为1。其余的将是0，因为它们的组是唯一的。
每个事件都应有一个计数器，以指示在同一组中发生了多少事件。
我尝试按组和Time对数据进行排序，然后运行一个嵌套循环，一个在所有事件上运行，一个从开始到当前事件索引运行。在几千行之后，该过程将显着减慢速度，从而使该选项不可行。
我想知道是否还有其他优雅有效的方法。
编辑： 我能够使用一个for循环而不是嵌套的循环来做到这一点。对于每个循环，我都将时间和组分开，并对数据帧进行切片，以将事件包括在组中和所需的时间范围内，然后将事件总数相加：
for i in tqdm(range(len(df))):
time_stamp = df.loc[i,'Time']
group1 = df.loc[i,'Group1']
group2 = df.loc[i,'Group2']
sub_df = df[df['Time'] + timedelta(minutes=-5) > time_stamp]
sub_df = sub_df[sub_df['Time'] < time_stamp]
sub_df = sub_df[sub_df['Group1'] == group1]
sub_df = sub_df[sub_df['Group2'] == group2]
df.loc[i,'prior_events'] = sub_df.size
尽管如此，tqdm每秒显示18次迭代，对于10万行来说并没有那么大。
解决方法
为了获得更具启发性的结果，我扩展了您的数据样本：
ID Time Group1 Group2
0 61ED2269CCAC 2020-07-27 00:01:05.781 1234 100123
1 61C2DC4E96FA 2020-07-27 00:01:17.279 1234 100123
2 FAD0839C1A95 2020-07-27 00:02:38.112 1234 100124
3 FAD0839C1A95 2020-07-27 00:05:38.000 1234 100123
4 FAD0839C1A95 2020-07-27 00:06:39.000 1234 100123
5 A2750A7B6C24 2020-07-27 00:16:50.592 4321 100123
6 03F5DF150A3C 2020-07-27 00:17:00.246 4321 100124
7 03F5DF150A3C 2020-07-27 00:18:00.000 4321 100124
8 03F5DF150A3C 2020-07-27 00:20:00.000 4321 100124
9 03F5DF150A3C 2020-07-27 00:22:00.000 4321 100124
10 03F5DF150A3C 2020-07-27 00:23:00.000 4321 100124
假设 Time 列为 datetime 类型，并且其值是唯一的， 您可以按以下方式生成结果（ Count 列）：
df.set_index('Time',inplace=True)
df['Count'] = (df.groupby(['Group1','Group2'],as_index=False)\
.Group1.rolling(window='5T',closed='both').count() - 1).astype(int)\
.reset_index(level=0,drop=True)
df.reset_index(inplace=True)
结果是：
Time ID Group1 Group2 Count
0 2020-07-27 00:01:05.781 61ED2269CCAC 1234 100123 0
1 2020-07-27 00:01:17.279 61C2DC4E96FA 1234 100123 1
2 2020-07-27 00:02:38.112 FAD0839C1A95 1234 100124 0
3 2020-07-27 00:05:38.000 FAD0839C1A95 1234 100123 2
4 2020-07-27 00:06:39.000 FAD0839C1A95 1234 100123 1
5 2020-07-27 00:16:50.592 A2750A7B6C24 4321 100123 0
6 2020-07-27 00:17:00.246 03F5DF150A3C 4321 100124 0
7 2020-07-27 00:18:00.000 03F5DF150A3C 4321 100124 1
8 2020-07-27 00:20:00.000 03F5DF150A3C 4321 100124 2
9 2020-07-27 00:22:00.000 03F5DF150A3C 4321 100124 3
10 2020-07-27 00:23:00.000 03F5DF150A3C 4321 100124 3
注意最后一行。是否具有 Count == 3 ，包括事件 5分钟前 如果您希望不计算此事件，请删除 closed ='both' 参数。
根据14：49Z的评论进行编辑
很明显，即使在一个组中，您的数据也具有重复的 Time 值 具有相同 Group1 / Group2 的行。
要解决此问题，请采用另一种方法：
-
定义一个生成计数的函数：
def Counts(grp): vc = grp.Time.value_counts().sort_index() cnt = (vc.rolling(window='5T',closed='both').sum()).astype(int) - vc s = pd.Series(cnt,index=grp.Time) return pd.Series(s.values,index=grp.index) -
应用它：
df['Counts'] = df.groupby(['Group1',as_index=False)\ .apply(Counts).reset_index(level=0,drop=True)
此代码基于您的源DataFrame已排序的假设 通过 Time 。
我在数据样本上测试了上面的代码，并添加了重复的行 前一行的时间。
结果是：
ID Time Group1 Group2 Counts
0 61ED2269CCAC 2020-07-27 00:01:05.781 1234 100123 0
1 61C2DC4E96FA 2020-07-27 00:01:17.279 1234 100123 1
2 FAD0839C1A95 2020-07-27 00:02:38.112 1234 100124 0
3 FAD0839C1A95 2020-07-27 00:05:38.000 1234 100123 2
4 FAD0839C1A95 2020-07-27 00:06:39.000 1234 100123 1
5 A2750A7B6C24 2020-07-27 00:16:50.592 4321 100123 0
6 03F5DF150A3C 2020-07-27 00:17:00.246 4321 100124 0
7 03F5DF150A3C 2020-07-27 00:18:00.000 4321 100124 1
8 03F5DF150A3C 2020-07-27 00:20:00.000 4321 100124 2
9 03F5DF150A3C 2020-07-27 00:22:00.000 4321 100124 3
10 03F5DF150A3C 2020-07-27 00:23:00.000 4321 100124 3
11 03F5DF150BBB 2020-07-27 00:23:00.000 4321 100124 3
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。