PostgreSQL实用技巧

日志功能

记录慢查询语句

开启慢查询记录功能,执行时间等于或者大于 log_min_duration_statement 设置值的语句会被记录:

ALTER database postgres SET log_min_duration_statement = '250ms';

设置日志记录的语句类型

使用 log_statement 选项设置日志记录的语句类型:

ALTER DATABASE postgres SET log_statement = 'all';

有效的取值包括 all、ddl、none 以及 mod。

记录锁等待事件

当数据库出现锁等待事件时记录日志:

ALTER DATABASE postgres SET log_lock_waits = 'on';

性能技巧

设置语句的执行超时时间

设置语句的执行超时可以阻止超长运行的语句。超时时间可以基于数据库、用户或者会话进行设置。推荐设置一个全局的超时时间,然后根据需要为具体用户或者会话设置特殊的超时时间。

ALTER DATABASE mydatabase SET statement_timeout = '60s';

查找占用资源最多的查询和进程

pg_stat_statements 插件可以帮助我们发现消耗资源最多的查询和进程。

# create extension pg_stat_statements;

SELECT
	total_exec_time,
	mean_exec_time as avg_ms,
	calls,
	query
FROM pg_stat_statements
ORDER BY mean_exec_time DESC
LIMIT 10;

监控数据库连接

以下查询可以按照状态返回数据库连接的数量:

SELECT count(*),
	   state
FROM pg_stat_activity
GROUP BY state;

如果空闲(idle)连接数量超过了 20,推荐使用连接池,例如 PgBouncer。

查看表的大小

使用以下语句查看表的文件大小:

SELECT pg_relation_size('table_name');

-- 更好的显示格式
SELECT pg_size_pretty(pg_relation_size('table_name'));

查看全部表的大小

以下查询返回了数据库中全部表的大小,从大到小进行排序:

SELECT relname AS relation,
       pg_size_pretty (
         pg_total_relation_size (C .oid)
       ) AS total_size
FROM pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C .relnamespace)
WHERE nspname NOT IN (
        'pg_catalog',
        'information_schema'
      )
  AND C .relkind <> 'i'
  AND nspname !~ '^pg_toast'
  ORDER BY pg_total_relation_size (C .oid) DESC

检查未使用的索引

使用以下查询返回未被使用的索引,按照索引大小降序排列。

SELECT schemaname || '.' || relname AS table,
       indexrelname AS index,
       pg_size_pretty(pg_relation_size(i.indexrelid)) AS "index size",
       idx_scan as "index scans"
FROM pg_stat_user_indexes ui
JOIN pg_index i ON ui.indexrelid = i.indexrelid
WHERE NOT indisunique
  AND idx_scan < 50
  AND pg_relation_size(relid) > 5 * 8192
ORDER BY 
  pg_relation_size(i.indexrelid) / nullif(idx_scan, 0) DESC NULLS FIRST,
  pg_relation_size(i.indexrelid) DESC;

评估表中的数据量

基于内部统计信息返回表中的近似数据量,可以用于替代大表的 SELECT count(*) 查询。

SELECT reltuples::numeric as count
FROM pg_class
WHERE relname='table_name';

非阻塞式的索引创建

创建索引时使用 CONCURRENTLY 选项可以避免获取表上的锁,该选项不能在事务中使用。

CREATE INDEX CONCURRENTLY foobar ON foo (bar);

PSQL 命令

自动记录查询占用的时间

返回每次查询占用的时间,包括网络传输时间。

\timing

可以利用 .psqlrc 文件实现默认配置。

自动格式化查询结果

提高查询结果的可读性:

\x auto

调用文本编辑器

变量 $EDITOR 用于设置一个默认的文本编辑器,输入以下命令可以打开并编辑最后一次执行的查询语句。

\e

保存并关闭编辑器之后,数据库会执行保存的查询语句。

设置空值的显示内容

将空值 null 显示为其它字符,方便区分空值和空字符串。

\pset null

保存查询历史

为指定数据库设置一个保存查询历史的本地文件:

\set HISTFILE ~/.psql_history-:DBNAME

显示内部命令对应的查询语句

psql 命令行选项 -E(–echo-hidden)可以显示内部命令(例如 \dt mytable)生成的查询语句:

psql -E

只返回结果数据

psql 命令行的 -qtA 选项表示以静默模式运行查询,以非对齐的格式返回结果,并且只返回数据。该选项和 -c 选项结合使用,可以用于脚本文件获取查询结果。

psql -qtA

以 HTML 表格形式返回结果

psql 命令行的 -qtH 选项表示以静默模式运行查询,以 HTML 表格形式返回结果,并且只返回数据。

psql -qtH

清理屏幕

以下命令可以实现清屏:

\! clear

连续运行一个查询语句

以下命令可以每间隔 2 秒自动执行一次最后的查询语句并显示结果:

\watch

回退到上一个语句

在交互模式下,设置以下命令可以在执行出错时自动回退到上一个语句执行之前:

\set ON_ERROR_ROLLBACK interactive

直接导出 CSV 格式

连接数据库时,指定 --csv 选项和查询语句可以运行查询并以 CSV 格式输出查询结果。

psql <connection-string> --csv -c 'select * from test;'

运行脚本文件

以下命令可以在 psql 中执行一个脚本文件:

\i filename

设置清晰的边界

以下命令可以在 psql 中为查询结果设置一个显示边界:

\pset border 2

将 linestyle 设置为 unicode

将 linestyle 设置为 unicode 时,结合上面的配置可以获得更清晰的显示格式:

\pset linestyle unicode

SQL 功能

替换空值

coalesce 函数可以将空值转换为指定的字符串:

SELECT id, 
       coalesce(ip, 'no IP') 
FROM logs;

生成序列数据

generate_series 函数可以生成一个指定间隔的数据序列,包括数字和时间戳。

SELECT * FROM
generate_series(now() - '3 month'::interval, now(), '1 day');

截断日期

date_trunc 函数可以将日期数据截断为指定的精度,例如月份、星期、日、小时、分钟。

SELECT date_trunc('day', now());

时间数据的加减运算

时间戳数据可以直接加减一个时间间隔:

SELECT now() - '1 month'::interval;

暂停会话进程

pg_sleep 函数可以将当前会话进程暂停指定的时间:

select pg_sleep(2.5);

实用命令

创建只读用户

系统角色 pg_read_all_data 可以用于读取所有的数据表:

GRANT pg_read_all_data TO username;

终止指定用户的后台进程

使用以下查询终止用户“test”的所有后台进程:

WITH pids AS (
  SELECT pid
  FROM pg_stat_activity
  WHERE usename='test'
)
SELECT pg_terminate_backend(pid)
FROM pids;

取消指定用户正在运行的 SQL 语句

以下查询可以取消用户“test”正在运行的所有 SQL 查询,回滚未提交的事务:

WITH pids AS (
  SELECT pid 
  FROM pg_stat_activity 
  WHERE username='test'
)
SELECT pg_cancel_backend(pid)
FROM pids;

原文地址:https://tonydong.blog.csdn.net" target="_blank" rel="noopener" title="不剪发的Tony老师">不剪发的Tony老师</a> <img class="article-time-img article-heard-img" src="https://csdnimg.cn/release/bl

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备