postgresql – WHERE子句是按照它们的写入顺序应用的吗?

我正在尝试优化查看大表(3700万行)的查询,并对查询中执行操作的顺序有疑问.
select 1 
from workdays day
where day.date_day >= '2014-10-01' 
    and day.date_day <= '2015-09-30' 
    and day.offer_id in (
        select offer.offer_day 
        from offer  
        inner join province on offer.id_province = province.id_province  
        inner join center cr on cr.id_cr = province.id_cr 
        where upper(offer.code_status) <> 'A' 
            and province.id_region in ('10','15','21','26','31',...,'557') 
            and province.id_cr in ('9','14','20','25','30','35','37')
    )

在子查询之前执行日期范围的WHERE子句吗?
为了更快地执行,是否首先放置最严格的条款以避免其他子句的大循环是一种好方法?

现在查询需要花费很多时间来执行.

详细说明@ alci的答案:

PostgreSQL并不关心你写什么顺序

> PostgreSQL根本不关心WHERE子句中条目的顺序,只选择基于成本和选择性估计的索引和执行顺序.
>在配置的join_collapse_limit之前,也会忽略写入连接的顺序;如果有更多的连接,它将按照它们写入的顺序执行它们.
>子查询可以在包含它们的查询之前或之后执行,具体取决于最快的子查询,只要子查询在外部查询实际需要信息之前执行即可.实际上,子查询通常在中间执行,或与外部查询交错.
>无法保证PostgreSQL实际上会执行部分查询.它们可以完全优化.如果您调用具有副作用的函数,这一点很重要.

PostgreSQL将转换您的查询

PostgreSQL将严重转换查询,同时保留完全相同的效果,以便在不改变结果的情况下使它们运行得更快.

>子查询之外的术语可以被推入子查询中,因此它们作为子查询的一部分执行,而不是在外部查询中编写它们的位置
>子查询中的术语可以拉到外部查询,因此它们的执行是作为外部查询的一部分完成的,而不是在子查询中写入它们的位置
>子查询可以并且通常在外表上展平为连接.像EXISTS和NOT EXISTS查询这样的事情也是如此.
>视图变得扁平化为使用视图的查询
> SQL函数经常被内联到调用查询中
> …还有许多其他的查询转换,例如常量表达式预评估,一些子查询的去相关以及各种其他规划器/优化器技巧.

通常,PostgreSQL可以大规模地转换和重写您的查询,以至于每个查询都是:

select my_table.*
from my_table
left join other_table on (my_table.id = other_table.my_table_id)
where other_table.id is null;

select *
from my_table
where not exists (
  select 1
  from other_table
  where other_table.my_table_id = my_table.id
);

select *
from my_table
where my_table.id not in (
  select my_table_id
  from other_table
  where my_table_id is not null
);

通常会产生完全相同的查询计划. (假设我上面没有做出任何愚蠢的错误).

尝试优化查询只是为了发现查询计划程序已经找到了您正在尝试的技巧并自动应用它们,这种情况并不少见,因此手动优化版本并不比原始版本好.

限制

规划器/优化器远非全局,并且受限于绝对确定它不能改变查询效果,可用于决策的数据,已实施的规则以及CPU时间的要求.它可以花钱思考优化.例如:

>计划员依赖于ANALYZE保存的统计数据(通常通过autovacuum).如果这些已经过时,那么计划选择可能会很糟糕.
>统计数据只是一个样本,因此可能会因采样效应而产生误导,特别是如果采样量太小.可能导致糟糕的计划选择.
>统计信息不会跟踪有关表格的某些类型的数据,例如列之间的相关性.这可能会导致规划人员在假设事情是独立的时候做出错误的决定.
>规划器依赖于诸如random_page_cost之类的成本参数来告诉它在其安装的特定系统上的各种操作的相对速度.这些只是指南.如果他们严重错误,他们可能导致糟糕的计划选择.
>任何带有LIMIT或OFFSET的子查询都不能展平或受到上拉/下推的影响.这并不意味着它将在外部查询的所有部分之前执行,或者甚至根本不执行.
> CTE术语(WITH查询中的子句)总是完整执行,如果它们完全执行的话.它们不能扁平化,并且不能在CTE术语障碍中推高或拉低术语. CTE术语始终在最终查询之前执行.这是非SQL标准行为,但它记录为PostgreSQL的工作方式.
> PostgreSQL在外表,security_barrier视图和某些其他特殊关系上的查询之间进行优化的能力有限
> PostgreSQL不会内联除了普通SQL之外的任何函数,也不会在它与外部查询之间进行pullup / pushdown.
>规划器/优化器对于选择表达式索引以及索引和表达式之间的琐碎数据类型差异非常愚蠢.

吨也是.

您的查询

如果您的查询:

select 1 
from workdays day
where day.date_day >= '2014-10-01' 
    and day.date_day <= '2015-09-30' 
    and day.offer_id in (
        select offer.offer_day 
        from offer  
        inner join province on offer.id_province = province.id_province  
        inner join center cr on cr.id_cr = province.id_cr 
        where upper(offer.code_status) <> 'A' 
            and province.id_region in ('10','37')
    )

没有什么可以阻止它被平铺成一个带有额外连接集的简单查询,而且很可能会.

它可能会变成像(未经测试的,显然):

select 1 
from workdays day
inner join offer on day.offer_id = offer.offer_day
inner join province on offer.id_province = province.id_province  
inner join center cr on cr.id_cr = province.id_cr 
where upper(offer.code_status) <> 'A' 
   and province.id_region in ('10','557') 
   and province.id_cr in ('9','37')
   and day.date_day >= '2014-10-01' 
   and day.date_day <= '2015-09-30';

然后,PostgreSQL将根据其选择性和行计数估计值以及可用索引来优化连接顺序和连接方法.如果这些合理地反映了现实,那么它将进行连接并以最佳顺序运行where子句条目 – 通常将它们混合在一起,所以它做了一点,然后一点,然后回到第一部分等

如何查看优化器的功能

您无法看到PostgreSQL优化您的查询的SQL,因为它将SQL转换为内部查询树表示然后修改它.您可以转储查询计划并将其与其他查询进行比较.

没有办法将查询计划或内部计划树“解压缩”回SQL.

http://explain.depesz.com/有一个不错的查询计划助手.如果你对查询计划等完全不熟悉(在这种情况下,我很惊讶你通过这篇文章做到了这一点),那么PgAdmin有一个图形查询计划查看器,它提供的信息少得多,但更简单.

相关阅读:

> Optimizer
> Query planning parameters
> EXPLAIN
> CTEs (WITH queries)
> My blog on CTEs as optimisation fences

下推/上拉和展平功能continue to improve in each release. PostgreSQL通常适用于上拉/下推/展平决策,但并非总是如此,所以偶尔你必须(ab)使用CTE或OFFSET 0 hack.如果您发现这种情况,请报告查询计划程序错误.

如果你真的非常非常热衷于使用debug_print_plans选项来查看原始查询计划,但我保证你不想阅读它.真.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备