Postgresql截断速度

我们使用Postgresql 9.1.4作为我们的数据库服务器。我一直在试图加快我的测试套件,所以我盯着分析db一点,看看到底发生了什么。我们使用 database_cleaner在测试结束时截断表。是的我知道交易更快,我不能在某些情况下使用它们,所以我不关心。

我关心的是,为什么TRUNCATION需要这么长(比使用DELETE更长),为什么在我的CI服务器上EVEN LONGER。

现在,在本地(在Macbook Air上)一个完整的测试套件需要28分钟。拖尾日志,每次我们截断表… ie:

TRUNCATE TABLE table1,table2  -- ... etc

它需要1秒以上执行截断。拖放我们的CI服务器(Ubuntu 10.04 LTS)上的日志,需要8秒时间来截断表,构建需要84分钟。

当我切换到:删除策略,我的本地构建花了20分钟,CI服务器下降到44分钟。这是一个显着的差异,我真的很遥远为什么这可能是。我有tuned the在CI服务器上的DB,它有16gb系统RAM,4gb shared_buffers …和一个SSD。所有的好东西。这怎么可能:

一个。它的速度比我的Macbook Air有2gb的ram
b。 TRUNCATION比DELETE慢得多,当postgresql docs state explicitly它应该要快得多。

有什么想法吗?

这最近已经出现了几次,在SO和PostgreSQL邮件列表。

你的最后两点的TL; DR:

(a)更大的shared_buffers可能是CI服务器上TRUNCATE速度较慢的原因。不同的fsync配置或使用旋转介质而不是SSD也可能有故障。

(b)TRUNCATE有固定的成本,但不一定慢于DELETE,加上它做更多的工作。请参见下面的详细说明。

更新:一个significant discussion on pgsql-performance出自这篇文章。见this thread

更新2:改进已被添加到9.2beta3应该有助于,请参阅this post

TRUNCATE对DELETE FROM的详细说明:

虽然不是这个话题的专家,我的理解是TRUNCATE具有几乎固定的每个表的成本,而DELETE对于n行至少是O(n)更糟的是如果有任何外键引用表被删除。

我总是假定TRUNCATE的固定成本低于几乎空的表上的DELETE的成本,但这根本不是真的。

TRUNCATE表;多于DELETE FROM表;

TRUNCATE表之后的数据库状态与要运行的方式大致相同:

> DELETE FROM table;
> VACCUUM(FULL,ANALYZE)表; (仅9.0,见脚注)

…当然,TRUNCATE实际上并没有用DELETE和VACUUM实现它的效果。

关键是DELETE和TRUNCATE做不同的事情,所以你不仅仅是比较两个具有相同结果的命令。

DELETE FROM表;允许死行和膨胀保留,允许索引携带死条目,不更新查询计划器使用的表统计信息等。

TRUNCATE为您提供了一个全新的表和索引,就像它们只是CREATE。这就像你删除所有的记录,重新索引表,并做了一个真空。

如果你不在乎表中是否有crud,因为你要再次填满它,你最好使用DELETE FROM table。

因为你没有运行VACCUM,你会发现死行和索引条目累积为膨胀,必须扫描然后忽略;这会减慢你的所有查询。如果你的测试没有真正创建和删除那些你可能不会注意到或关心的数据,你可以随时在测试运行中做一个VACCUM或两个部分。更好,让积极的autovaccum设置确保autovaccum为您在后台。

在整个测试套件运行后,您仍然可以TRUNCATE所有的表,以确保许多运行没有效果。在9.0及更高版本,VACUUM(FULL,ANALYZE);全球在桌子上是至少一样好,如果不是更好,这是一个很多更容易。

IIRC Pg有一些优化,意味着它可能会注意到,当你的事务是唯一一个可以看到表,并立即标记为自由的块。在测试中,当我想创建膨胀时,我不得不有多个并发连接来做。我不会依赖这个,虽然。

DELETE FROM table;是非常便宜的小表没有f / k refs

要删除没有外键引用的表中的所有记录,所有Pg都必须执行顺序表扫描并设置遇到的元组的xmax。这是一个非常便宜的操作 – 基本上是线性读取和半线性写入。 AFAIK它不必触及索引;它们继续指向死的元组,直到它们被稍后的VACCUM清除,这也将表中仅包含死元组的块视为空闲。

如果有许多记录,如果有许多外键引用必须被检查,或者如果你计数随后的VACUUM(FULL,ANALYZE)表,DELETE只会变得昂贵;需要在DELETE的成本内匹配TRUNCATE的效果。

在我的测试中,一个DELETE FROM表;通常比TRUNCATE在0.5ms vs 2ms时快4倍。这是一个SSD上的测试数据库,运行fsync = off,因为我不在乎我是否丢失所有这些数据。当然,DELETE FROM表;不是做所有相同的工作,如果我跟随一个VACCUM(FULL,ANALYZE)表;它是一个更昂贵的21ms,所以DELETE只是一个胜利,如果我实际上不需要表pristene。

TRUNCATE表;做比DELETE更多的固定成本的工作和内务

相比之下,TRUNCATE必须做很多工作。它必须为表,其TOAST表(如果有)和表具有的每个索引分配新文件。标题必须写入这些文件,并且系统目录可能需要更新(不确定那一点,没有检查)。然后,它必须用新的文件替换旧的文件或删除旧的文件,并必须确保文件系统已经赶上了同步操作 – fsync()或类似的 – 通常刷新所有缓冲区到磁盘的更改。我不知道如果你使用(data-eating)选项fsync = off运行同步是否被跳过。

我最近学到了TRUNCATE也必须冲洗所有PostgreSQL的与旧表相关的缓冲区。这可能需要一个非常小的时间与巨大的shared_buffers。我怀疑这是为什么它的CI服务器上慢。

余额

无论如何,你可以看到一个表的TRUNCATE有一个相关的TOAST表(大多数)和几个索引可能需要一些时间。不长,但比从几乎空的表删除更长。

因此,你可能更好的做一个DELETE FROM表。

– –

注意:对于DBs 9.0之前,CLUSTER table_id_seq ON表; ANALYZE表;或VACCUM FULL ANALYZE表; REINDEX表;将是一个更接近等同于TRUNCATE。 VACUUM FULL在9.0改变了一个更好的。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备