在SQL / Impala中按特定的分钟数对日期时间进行分组

如何解决在SQL / Impala中按特定的分钟数对日期时间进行分组

我正在使用Impala。 我的表格中的日期（格式为YYYYMMDD，表示为STRING），小时和分钟（表示为INT）具有单独的列 例如，我得到：

date_part    hour_part    minute_part    kpi
20200828     10           10             23
20200828     10           15             64
20200828     10           20             18

要合并这些列，我使用了以下语法：

MINUTES_ADD（HOURS_ADD（TO_DATE（FROM_UNIXTIME（UNIX_TIMESTAMP（CAST（date_part AS STRING），“ yyyyMMdd”））），hour_part），minutes_part）AS date_time

因此我得到：

date_time              kpi
2020-08-28 10:10:00    23
2020-08-28 10:15:00    64
2020-08-28 10:20:00    18

（请注意，我每5分钟只填充一次我的数据）

现在，如果我想在1小时内计算AVG（kpi），可以执行以下GROUP BY：

SELECT
    MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING),"yyyyMMdd"))),hour_part),minute_part) AS date_time,AVG(kpi)
FROM table
GROUP BY
    DATE_PART('year',date_time),DATE_PART('month',DATE_PART('day',DATE_PART('hour',date_time)

但是，如何获取查询以进行15分钟的汇总？

解决方法

我不知道Impala，但毕竟datetime只是日期加上小时加上分钟。我会这样写：

SELECT date_part + INTERVAL hour_part HOURS + INTERVAL minute_part MINUTES

或

SELECT date_part + INTERVAL hour_part * 60 + minute_part MINUTES

如果我想要每小时获取的数据只是：

SELECT date_part + INTERVAL hour_part HOURS

但是，如果我想每刻钟获取数据，则必须从分钟开始评估刻钟。为此，可以使用CASE表达式，但是更简单的方法是整数除法：

SELECT date_part + INTERVAL hour_part HOURS + INTERVAL (minute_part DIV 15) * 15 MINUTES

我不知道上述语法在Impala中是否有效。在某些DBMS中它可以工作，在其他DBMS中，您可以使用INTERVAL 1 HOUR * hour_part而不是INTERVAL hour_part HOUR，而其他DBMS可能仍需要其他解决方案。您已经展示了HOURS_ADD和MINUTES_ADD的解决方案，当然可以使用这些功能。

您说您将日期存储为字符串。为什么然后强制转换为字符串？以及为什么那个Unix时间的东西？可以将其缩短为TO_DATE(date_part,"yyyyMMdd")。

因此，对HOURS_ADD和MINUTES_ADD使用上述方法：

SELECT
    MINUTES_ADD(
      HOURS_ADD(
        TO_DATE(date_part,"yyyyMMdd"),hour_part),(minute_part DIV 15) * 15
    ) AS date_time,AVG(kpi)
FROM table
GROUP BY
    MINUTES_ADD(
      HOURS_ADD(
        TO_DATE(date_part,(minute_part DIV 15) * 15
    )
ORDER BY date_time;

,

您可以在分钟上使用算术：

SELECT MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING),"yyyyMMdd"))),FLOOR(minute_part / 15)) AS date_time,AVG(kpi)
FROM table
GROUP BY date_part,hour_part,FLOOR(minute_part / 15)