postgresql – Postgres UPDATE … LIMIT 1

我有一个Postgres数据库,其中包含有关服务器群集的详细信息,例如服务器状态(“活动”,“备用”等).任何时候活动服务器都可能需要故障转移到备用服务器,而我并不关心特别使用哪个备用服务器.

我想要一个数据库查询来改变备用状态 – JUST ONE – 并返回要使用的服务器IP.选择可以是任意的:由于服务器的状态随查询而变化,因此选择哪个备用数据库无关紧要.

是否可以将我的查询限制为仅一次更新?

这是我到目前为止:

UPDATE server_info SET status = 'active' 
WHERE status = 'standby' [[LIMIT 1???]] 
RETURNING server_ip;

Postgres不喜欢这个.我能做些什么不同的事情?

没有并发写入

在CTE中实现选择并在UPDATE的FROM子句中连接到它.

WITH cte AS (
   SELECT server_ip          -- pk column or any (set of) unique column(s)
   FROM   server_info
   WHERE  status = 'standby'
   LIMIT  1                  -- arbitrary pick (cheapest)
   )
UPDATE server_info s
SET    status = 'active' 
FROM   cte
WHERE  s.server_ip = cte.server_ip
RETURNING server_ip;

我最初在这里有一个普通的子查询,但是可以回避某些查询计划的LIMIT,因为Feike指出:

The planner may choose to generate a plan that executes a nested loop over the LIMITing subquery,causing more UPDATEs than LIMIT,e.g.:

06001

07002

The way to fix the above was to wrap the LIMIT subquery in its own CTE,as the CTE is materialized it will not return different results on different iterations of the nested loop.

或者使用LIMIT 1的简单情况使用低相关子查询.更简单,更快:

UPDATE server_info
SET    status = 'active' 
WHERE  server_ip = (
         SELECT server_ip
         FROM   server_info
         WHERE  status = 'standby'
         LIMIT  1
         )
RETURNING server_ip;

具有并发性

在并发写入加载下,添加FOR UPDATE SKIP LOCKED以锁定行以避免竞争条件. Postgres 9.5中添加了SKIP LOCKED,旧版本见下文. The manual:

With SKIP LOCKED,any selected rows that cannot be immediately locked
are skipped. Skipping locked rows provides an inconsistent view of the
data,so this is not suitable for general purpose work,but can be
used to avoid lock contention with multiple consumers accessing a
queue-like table.

UPDATE server_info
SET    status = 'active' 
WHERE  server_ip = (
         SELECT server_ip
         FROM   server_info
         WHERE  status = 'standby'
         LIMIT  1
         FOR UPDATE SKIP LOCKED
         )
RETURNING server_ip;

如果没有符合条件的解锁行,则此查询中没有任何反应,并且您得到一个空结果.对于不加批判的操作,这意味着你已经完成了.

但是,对于关键操作,确保进行最终检查:

SELECT NOT EXISTS (
   SELECT 1
   FROM   server_info
   WHERE  status = 'standby'
   );

如果Wile不返回true,则仍在处理一行或多行,并且仍可以回滚事务.稍等一下,然后循环两个步骤:UPDATE直到你没有返回行,SELECT …直到你得到TRUE.

有关:

> Atomic UPDATE .. SELECT in Postgres

在PostgreSQL 9.4或更早版本中没有SKIP LOCKED

UPDATE server_info
SET    status = 'active' 
WHERE  server_ip = (
         SELECT server_ip
         FROM   server_info
         WHERE  status = 'standby'
         LIMIT  1
         FOR UPDATE
         )
RETURNING server_ip;

尝试锁定同一行的并发事务将被阻止,直到第一个释放其锁定.

如果第一个被回滚,则下一个事务将获取锁定并正常进行;队列中的其他人继续等待.

如果第一次提交,则重新评估WHERE条件,如果它不再为TRUE(状态已更改),则CTE(有点令人惊讶地)不返回任何行.什么都没发生.当所有事务都想要更新同一行时,这是所需的行为.
但不是每个事务都想要更新下一行.而且由于我们只想更新任意(或随机)行,所以没有必要等待.

我们可以在advisory locks的帮助下解除这种情况:

UPDATE server_info
SET    status = 'active' 
WHERE  server_ip = (
         SELECT server_ip
         FROM   server_info
         WHERE  status = 'standby'
         AND pg_try_advisory_xact_lock(id)
         LIMIT  1
         FOR    UPDATE
         )
RETURNING server_ip;

这样,未更新的下一行将被更新.每个事务都有一个新的行可以使用.我从Czech Postgres Wiki获得了这个技巧的帮助.

id是任何唯一的bigint列(或任何具有隐式转换的类型,如int4或int2).

如果同时对数据库中的多个表使用建议锁,请使用pg_try_advisory_xact_lock(tableoid :: int,id)消除歧义 – 此处的id是唯一的整数.
由于tableoid是一个很大的数量,它理论上可以溢出整数.如果你足够偏执,请使用(tableoid :: bigint%2147483648):: int – 为真正的偏执者留下理论上的“哈希冲突”……

此外,Postgres可以任意顺序测试WHERE条件.它可以测试pg_try_advisory_xact_lock()并在status =’standby’之前获取锁定,这可能导致对不相关的行进行额外的建议锁定,其中status =’standby’不为true.关于SO的相关问题:

> Postgres pg_try_advisory_lock blocks all records

通常,您可以忽略这一点.为了保证只有符合条件的行被锁定,您可以将谓词嵌套在上面的CTE中,或者将子查询嵌套到OFFSET 0 hack (prevents inlining)中.示例:

> Put pg_try_advisory_xact_lock() in a nested subquery?

或者(顺序扫描更便宜)将条件嵌套在CASE语句中,如:

WHERE  CASE WHEN status = 'standby' THEN pg_try_advisory_xact_lock(id) END

然而,CASE技巧也会使Postgres不使用状态索引.如果这样的索引可用,则不需要额外的嵌套开始:只有符合条件的行才会在索引扫描中被锁定.

由于您无法确定每次调用都使用了索引,因此您可以:

WHERE  status = 'standby'
AND    CASE WHEN status = 'standby' THEN pg_try_advisory_xact_lock(id) END

CASE在逻辑上是多余的,但它服务于所讨论的目的.

如果该命令是长事务的一部分,请考虑可以(并且必须)手动释放的会话级锁.因此,您可以在完成锁定行后立即解锁:pg_try_advisory_lock() and pg_advisory_unlock().The manual:

Once acquired at session level,an advisory lock is held until
explicitly released or the session ends.

有关:

> Optimizing concurrent updates in Postgres

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备