Postgresql之(2)磁盘消耗查询

Postgresql之磁盘消耗查询

Author:OnceDay Date:2023年3月15日

漫漫长路,才刚刚开始…

1.推荐参看文档
1.1 手动查询数据库大小

首先使用\l查看当前postgresql中有哪些数据库(测试用例中有三个数据库):

postgres=# \l
                                 List of databases
      Name      |    Owner    | Encoding  | Collate | Ctype |   Access privileges   
----------------+-------------+-----------+---------+-------+-----------------------
 test_Database  | onced_day1  | UTF8      | C       | C     | 
 temp_database  | onced_day2  | SQL_ASCII | C       | C     | 
 postgres       | postgres    | SQL_ASCII | C       | C     | 
(3 rows)

然后通过命令获取到数据库对应的OID,如下:

postgres=# SELECT oid from pg_database where datname='test_Database';
  oid   
--------
 537426
(1 row)

然后从pgsql的data/base/<oid>文件夹获取对应的大小,如下:

onceday->data:# du -sh base/537426/
290M    base/537426/

手动命令需要去获取数据库对应的OID来查询

2. 命令函数查询

下面是常见的postgresql数据库对象尺寸查询函数:

函数名 返回类型 描述
pg_column_size(any) int 存储一个指定的数值需要的字节数(可能压缩过)
pg_database_size(oid) bigint 指定OID的数据库使用的磁盘空间
pg_database_size(name) bigint 指定名称的数据库使用的磁盘空间
pg_indexes_size(regclass) bigint 关联指定表OID或表名的表索引的使用总磁盘空间
pg_relation_size(relation regclass,fork text) bigint 指定OID或名的表或索引,通过指定fork(‘main’,‘fsm’ 或’vm’)所使用的磁盘空间
pg_relation_size(relation regclass) bigint pg_relation_size(...,'main')的缩写
pg_size_pretty(bigint) text Converts a size in bytes expressed as a 64-bit integer into a human-readable format with size units
pg_size_pretty(numeric) text 把以字节计算的数值转换成一个人类易读的尺寸单位
pg_table_size(regclass) bigint 指定表OID或表名的表使用的磁盘空间,除去索引(但是包含TOAST,自由空间映射和可视映射)
pg_tablespace_size(oid) bigint 指定OID的表空间使用的磁盘空间
pg_tablespace_size(name) bigint 指定名称的表空间使用的磁盘空间
pg_total_relation_size(regclass) bigint 指定表OID或表名使用的总磁盘空间,包括所有索引和TOAST数据
2.1 查询一个指定的数值需要的字节数

这个是用来查询一个固定对象类型所需要的字节数,如下面查询整数和字符串所占用的字节数。

正常的小整数,只需要四个字节

postgres=# select pg_column_size(1024);
 pg_column_size 
----------------
              4
(1 row)

超大的整数,就需要8个字节了:

postgres=# select pg_column_size(102400000000);
 pg_column_size 
----------------
              8
(1 row)

对于字符串来说,其字节数和字符串长度有关。

postgres=# select pg_column_size('hello world!');
 pg_column_size 
----------------
             13
(1 row)

对于可变类型来说,其字节数和具体值有关:

postgres=# select pg_column_size('inet::192.168.1.1');
 pg_column_size 
----------------
             18
(1 row)

postgres=# select pg_column_size('inet::2001::1002');
 pg_column_size 
----------------
             17
(1 row)
2.1 查看数据库大小

使用pg_database_size命令即可查看指定数据库的大小,这里输入的名字需要用单引号括起来,且支持大小写。

temp_database=# select pg_database_size('temp_database');
 pg_database_size 
------------------
          7868975
(1 row)

这里输出的数据单位是字节数,不太适合阅读,但适合于精确的数据库大小,可以使用pg_size_pretty转为合适阅读的单位。

temp_database=# select pg_size_pretty(pg_database_size('temp_database')) as size;
  size   
---------
 7685 kB
(1 row)

可以直接使用pg_database_size('test_Database')去查询test_database这种含有大写字母的数据库名字

如下所示:

temp_database=# select pg_size_pretty(pg_database_size('test_Database')) as size;
  size  
--------
 288 MB
(1 row)

使用下面命令可以查看所有数据库大小

select datname,pg_size_pretty(pg_database_size(datname)) AS size from pg_database;

为了更好展示数据,可以使用下面这个脚本

使用方式:

  • 先创建一个query.sql文件,将脚本命令写进去。
  • 然后在postgres账户下执行psql -f ./query.sql命令即可。

下面是脚本内容

SELECT d.datname AS Name,pg_catalog.pg_get_userbyid(d.datdba) AS Owner,CASE WHEN pg_catalog.has_database_privilege(d.datname,'CONNECT')  
       THEN pg_catalog.pg_size_pretty(pg_catalog.pg_database_size(d.datname))  
       ELSE 'No Access'  
   END AS SIZE  
FROM pg_catalog.pg_database d  
   ORDER BY  
   CASE WHEN pg_catalog.has_database_privilege(d.datname,'CONNECT')  
       THEN pg_catalog.pg_database_size(d.datname)  
       ELSE NULL  
   END DESC -- nulls first  
   LIMIT 20
2.2 查看数据库的表大小

首先可以使用pg_relation_size()来获取索引的大小,在数据库里,索引大小占用的比例可不低。

首先使用\d tablename输出表格的详细信息,如下:

test_Database=# \d "test_Database_table"
            Table "public.test_Database_table"
   Column   |       Type       | Collation | Nullable | Default 
------------+------------------+-----------+----------+---------
 timestamp  | bigint           |           |          | 
 type       | integer          |           |          | 
Indexes:
    "test_Database_table_timestamp_index" btree ("timestamp")
    "test_Database_table_type_index" btree (type)

使用test_Database_table_timestamp_index等索引名来获取对应索引的大小

test_Database=# select pg_size_pretty(pg_relation_size('"test_Database_table_timestamp_index"')) as size;
  size  
--------
 856 kB
(1 row)
logConnectDb=# select pg_size_pretty(pg_relation_size('"test_Database_table_type_index"')) as size;
  size  
--------
 304 kB
(1 row)

注意这个单引号里套的双引号,如果不这么做,由于大小写无法识别,将导致报错

有两种方式获取表的大小(不含索引):pg_relation_sizepg_table_size,如下所示:

test_Database=# select pg_size_pretty(pg_relation_size('"test_Database_table"')) as size;
  size   
---------
 2152 kB
(1 row)
test_Database=# select pg_size_pretty(pg_table_size('"test_Database_table"')) as size;
  size   
---------
 2184 kB
(1 row)

可以看到,两者大小基本一致,但table_size更多,因为包含了一些其他的内容在里面

可以使用pg_total_relation_size查看一张表数据+索引+其他数据的全部磁盘占用:

test_Database=# select pg_size_pretty(pg_total_relation_size('"test_Database_table"')) as size; 
  size   
---------
 3344 kB
(1 row)

可以看到,两个索引大小856KB + 304KB = 1160KB,然后加上表的pg_relation_size(纯数据)2152Kb,即

1160KB + 2152KB = 3312KB = 3344KB - 32KB = 3344Kb - (2184Kb - 2152Kb)

很明显,tablesize包含一些额外的其他数据,如TOAST

可以使用下面命令一次查询当前数据库里面多个表的占用大小:

  • 不包含索引的表大小,使用pg_relation_size函数:

    select relname,pg_size_pretty(pg_relation_size(relid)) as size from pg_stat_user_tables;
    
  • 不包含索引的表大小,使用pg_table_size函数:

    select relname,pg_size_pretty(pg_table_size(relid)) as size from pg_stat_user_tables;
    
  • 包含索引的整表大小,使用pg_total_relation_size函数:

    select relname,pg_size_pretty(pg_total_relation_size(relid)) as size from pg_stat_user_tables;
    

也可以使用下面这段脚本代码来获取排序后的输出,如下

使用方法

  • 先创建一个query.sql文件,将脚本命令写进去。
  • 然后在postgres账户下执行psql -d test_Database -f ./query.sql命令即可。

下面是脚本内容

SELECT  
    table_schema || '.' || table_name AS table_full_name,pg_size_pretty(pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')) AS size  
FROM information_schema.tables  
ORDER BY  
    pg_total_relation_size('"' || table_schema || '"."' || table_name || '"') DESC  

原文地址:https://blog.csdn.net/Once_day/article/details/129700617

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备