postgresql – 将单独的范围组合成最大可能的连续范围

我正在尝试将多个日期范围(我的负载大约为500,大多数情况为10)组合在一起,可能会也可能不会重叠到最大可能的连续日期范围内.例如:

数据:

CREATE TABLE test (
  id SERIAL PRIMARY KEY NOT NULL,range DATERANGE
);

INSERT INTO test (range) VALUES 
  (DATERANGE('2015-01-01','2015-01-05')),(DATERANGE('2015-01-01','2015-01-03')),(DATERANGE('2015-01-03','2015-01-06')),(DATERANGE('2015-01-07','2015-01-09')),(DATERANGE('2015-01-08',(DATERANGE('2015-01-12',NULL)),(DATERANGE('2015-01-10','2015-01-12')),'2015-01-12'));

表看起来像:

id |          range
----+-------------------------
  1 | [2015-01-01,2015-01-05)
  2 | [2015-01-01,2015-01-03)
  3 | [2015-01-03,2015-01-06)
  4 | [2015-01-07,2015-01-09)
  5 | [2015-01-08,2015-01-09)
  6 | [2015-01-12,)
  7 | [2015-01-10,2015-01-12)
  8 | [2015-01-10,2015-01-12)
(8 rows)

期望的结果:

combined
--------------------------
 [2015-01-01,2015-01-06)
 [2015-01-07,2015-01-09)
 [2015-01-10,)

视觉表现:

1 | =====
2 | ===
3 |    ===
4 |        ==
5 |         =
6 |             =============>
7 |           ==
8 |           ==
--+---------------------------
  | ====== == ===============>
假设/澄清

>无需区分无穷大和开放上限(上限(范围)IS NULL). (你可以用任何一种方式,但这种方式更简单.)

> NULL vs. infinity in PostgreSQL range types

>由于date是离散类型,因此所有范围都具有default [)边界.
Per documentation:

The built-in range types int4range,int8range,and daterange all use a
canonical form that includes the lower bound and excludes the upper
bound; that is,[).

对于其他类型(如tsrange!),如果可能,我会强制执行相同的操作:

> Preventing adjacent/overlapping entries with EXCLUDE in PostgreSQL

纯SQL解决方案

为了清楚起见,CTE:

WITH a AS (
   SELECT range,COALESCE(lower(range),'-infinity') AS startdate,max(COALESCE(upper(range),'infinity')) OVER (ORDER BY range) AS enddate
   FROM   test
   ),b AS (
   SELECT *,lag(enddate) OVER (ORDER BY range) < startdate OR NULL AS step
   FROM   a
   ),c AS (
   SELECT *,count(step) OVER (ORDER BY range) AS grp
   FROM   b
   )
SELECT daterange(min(startdate),max(enddate)) AS range
FROM   c
GROUP  BY grp
ORDER  BY 1;

或者,与子查询相同,更快但不太容易阅读:

SELECT daterange(min(startdate),max(enddate)) AS range
FROM  (
   SELECT *,count(step) OVER (ORDER BY range) AS grp
   FROM  (
      SELECT *,lag(enddate) OVER (ORDER BY range) < startdate OR NULL AS step
      FROM  (
         SELECT range,'infinity')) OVER (ORDER BY range) AS enddate
         FROM   test
         ) a
      ) b
   ) c
GROUP  BY grp
ORDER  BY 1;

或者使用少一个子查询级别,但翻转排序顺序:

SELECT daterange(min(COALESCE(lower(range),'-infinity')),count(nextstart > enddate OR NULL) OVER (ORDER BY range DESC NULLS LAST) AS grp
   FROM  (
      SELECT range,'infinity')) OVER (ORDER BY range) AS enddate,lead(lower(range)) OVER (ORDER BY range) As nextstart
      FROM   test
      ) a
   ) b
GROUP  BY grp
ORDER  BY 1;

>使用ORDER BY范围DESC NULLS LAST(使用NULLS LAST)在第二步中对窗口进行排序,以获得完全颠倒的排序顺序.这应该更便宜(更容易生成,完全匹配建议索引的排序顺序),并且对于具有等级IS NULL的角落情况是准确的.

> PostgreSQL sort by datetime asc,null first?

说明

a:按范围排序时,使用窗口函数计算上限(enddate)的运行最大值.
用/ – 无穷大替换NULL边界(无界)只是为了简化(没有特殊的NULL情况).

b:在相同的排序顺序中,如果前一个enddate早于startdate,我们有一个间隙并开始一个新的范围(步骤).
请记住,上限始终被排除在外.

c:通过使用另一个窗口函数计算步骤来形成组(grp).

在外部SELECT构建范围从每个组的下限到上限.瞧.
关于SO的密切相关答案有更多解释:

> Compare multiple date ranges

用plpgsql编写程序解决方案

适用于任何表/列名称,但仅适用于类型daterange.
带循环的程序解决方案通常较慢,但在这种特殊情况下,我希望功能大大加快,因为它只需要一次顺序扫描:

CREATE OR REPLACE FUNCTION f_range_agg(_tbl text,_col text)
  RETURNS SETOF daterange AS
$func$
DECLARE
   _lower     date;
   _upper     date;
   _enddate   date;
   _startdate date;
BEGIN
   FOR _lower,_upper IN EXECUTE
      format($$SELECT COALESCE(lower(t.%2$I),'-infinity')  -- replace NULL with ...,COALESCE(upper(t.%2$I),'infinity')  -- ... +/- infinity
               FROM   %1$I t
               ORDER  BY t.%2$I$$,_tbl,_col)
   LOOP
      IF _lower > _enddate THEN     -- return previous range
         RETURN NEXT daterange(_startdate,_enddate);
         SELECT _lower,_upper  INTO _startdate,_enddate;

      ELSIF _upper > _enddate THEN  -- expand range
         _enddate := _upper;

      -- do nothing if _upper <= _enddate (range already included) ...

      ELSIF _enddate IS NULL THEN   -- init 1st round
         SELECT _lower,_enddate;
      END IF;
   END LOOP;

   IF FOUND THEN                    -- return last row
      RETURN NEXT daterange(_startdate,_enddate);
   END IF;
END
$func$ LANGUAGE plpgsql;

呼叫:

SELECT * FROM f_range_agg('test','range');  -- table and column name

逻辑类似于SQL解决方案,但我们可以通过单次传递来完成.

SQL Fiddle.

有关:

> GROUP BY and aggregate sequential numeric values

在动态SQL中处理用户输入的常用练习:

> SQL injection in Postgres functions vs prepared queries

指数

对于这些解决方案中的每一个,范围上的普通(默认)btree索引将有助于大表中的性能:

CREATE INDEX foo on test (range);

A btree index is of limited use for range types,但我们可以获得预先排序的数据,甚至可以进行仅索引扫描.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备