如何在某种时间线上可视化并发事件数据

如何解决如何在某种时间线上可视化并发事件数据

我有一个大型的csv数据文件，记录超过500万。它包含“开始日期时间”和“结束日期时间”。 这是数据外观的一个示例

2019-08-06 16:07:25,2019-08-06 16:07:42
2019-08-06 17:21:42,2019-08-06 17:21:59
2019-08-06 15:43:03,2019-08-06 15:43:20
2019-08-06 13:48:13,2019-08-06 13:48:30
2019-08-06 16:18:56,2019-08-06 16:19:13
2019-08-06 14:34:10,2019-08-06 14:34:27
2019-08-06 16:59:47,2019-08-06 17:00:04
2019-08-06 16:14:57,2019-08-06 16:15:14
2019-08-06 13:04:38,2019-08-06 13:04:55
2019-08-06 16:09:28,2019-08-06 16:09:45

我的目标是能够可视化数据，以识别何时具有最高活动并发连接。理想情况下，我们能够看到的时间间隔越窄越好。该数据的日期介于2个月之间。

谁能建议我可以用来解决这个问题的方法？

我尝试使用Python遍历每个记录的整个文件，以确定有多少个并发连接。当我进行了几千条记录的小规模测试时，它运行良好。但是，对于具有超过500万条记录的文件，该方法将无法很好地工作，因为遍历所有500万条记录（每次500万次）将花费相当长的时间。

解决方法

我仅解决一个中心问题，即如何转换数据以显示事务的并行度。

我使用（Oracle）SQL来演示这个想法。

我们假设这是您的数据

select * from tab;

START_DT            END_DT             
------------------- -------------------
06.08.2019 16:07:25 06.08.2019 16:07:42
06.08.2019 16:07:30 06.08.2019 16:07:35
06.08.2019 16:07:33 06.08.2019 16:07:50
06.08.2019 16:07:50 06.08.2019 16:07:55

第一步，将每一行分为两部分（使用UNION ALL）

第一部分将确定交易开始将将有效交易的计数增加1 。

第二部分标识交易的结束将有效交易的计数减少1 。

作为时间戳，您可以使用交易的开始或结束日期。

select start_dt trans_dt,1 trans_cnt from tab union all
select end_dt trans_dt,-1 trans_cnt from tab
order by 1;

TRANS_DT             TRANS_CNT
------------------- ----------
06.08.2019 16:07:25          1
06.08.2019 16:07:30          1
06.08.2019 16:07:33          1
06.08.2019 16:07:35         -1
06.08.2019 16:07:42         -1
06.08.2019 16:07:50          1
06.08.2019 16:07:50         -1
06.08.2019 16:07:55         -1

已经准备好日期，您只需要累积，这是通过对事务时间戳排序的分析中的聚合函数SUM完成的。以后再说吧。

最后，您合并了多个事务在同一时间戳中开始或结束的情况-您使用GROUP BY和MAX并行度。

完整查询

with trans as (
select start_dt trans_dt,-1 trans_cnt from tab),trans_cum as (
select trans_dt,trans_cnt,sum(trans_cnt) over (order by trans_dt,trans_cnt) parallel_trans_cnt
from trans)
select trans_dt,max(parallel_trans_cnt) parallel_trans_cnt
from trans_cum
group by trans_dt
order by 1;

结果

TRANS_DT            PARALLEL_TRANS_CNT
------------------- ------------------
06.08.2019 16:07:25                  1
06.08.2019 16:07:30                  2
06.08.2019 16:07:33                  3
06.08.2019 16:07:35                  2
06.08.2019 16:07:42                  1
06.08.2019 16:07:50                  1
06.08.2019 16:07:55                  0

可以使用普通的x，y图简单地可视化此数据。

应该小心，因为一个事务与下一个事务在同一秒结束。 在此后的两笔交易中，还是只有一笔？

上面的查询假设后一种情况，如果您想考虑前一种情况，只需将累加逻辑调整为

sum(trans_cnt) over (order by trans_dt,trans_cnt DESC) parallel_trans_cnt 

在同一秒内，您将首先考虑开始事务（这将增加并行度），而不是结束事务。

您可以使用任何编程语言来实现此逻辑，但是请注意， SQL ：1）非常简洁，2）您不受主存储器的限制，3）您可以从框。