postgresql 数据文件损坏回复实验

分类：Postgre SQL作者：编程之家用户

实验一：
创建两个表，有外键约束关系，通过修改二进制其中一段为全f破坏父表数据文件，重启数据库，父表中少了一条记录，子表中记录齐全，可以看出pg在查询、删除子表记录时不检查文件约束，只在更新、增加子表记录、删除父表记录时检查外键约束。

1 创建表
CREATE TABLE table1
(
id bigint NOT NULL,
stname character varying(200),
CONSTRAINT table1_pkey PRIMARY KEY (id)
);

CREATE TABLE table2
(
id bigint NOT NULL,
t1id bigint,
CONSTRAINT table2_pkey PRIMARY KEY (id)
);

2
加外键依赖
ALTER TABLE table2 ADD CONSTRAINT table2_distfk FOREIGN KEY (t1id) REFERENCES table1(id) MATCH FULL;

3
创建函数插入数值
CREATE SEQUENCE serial START 1;
CREATE OR REPLACE FUNCTION funtest(sd integer) RETURNS integer AS $$
BEGIN
FOR i IN 1..10000 LOOP
insert into table1(id,stname)values(i,'abc');
FOR j IN 1..10 LOOP
insert into table2(id,t1id,stname)values(nextval('serial'),i,'abc');
END LOOP;
END LOOP;

RETURN 1;
END;
$$ LANGUAGE plpgsql;

4
调用函数插入值
select funtest(1)

5
查看结果
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)

filedemage=# select count(*) from table2;
count
--------
100000
(1 row)

6
确定表的数据文件节点
filedemage=# select relname,relfilenode from pg_class where relname in ('table1','table2');
relname | relfilenode
---------+-------------
table1 | 24592
table2 | 24597
(2 rows)

7
修改表文件
找两行修改为全f或全0
重启数据库

filedemage=# \q
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#

8
登录数据库查询tabl1,table2的记录数，没有变化
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.

filedemage=#
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)

filedemage=# select count(*) from table2;
count
--------
100000
(1 row)

9
查询到修改的记录
filedemage=# select distinct stname from table1;
stname
--------

abc
\x13
(3 rows)

filedemage=# select id,stname from table1 where stname in (select distinct stname from table1) and stname <> 'abc';
id | stname
---------------------+--------
1732058468245837568 |
5023 | \x13
(2 rows)

10
查询确认id=5022的记录被修改了
filedemage=# select * from table1 where id in(5020,5021,5022,5023,5024,5025);
id | stname
------+--------
5020 | abc
5021 | abc
5023 | \x13
5024 | abc
5025 | abc
(5 rows)

11
在表table2中查询t1id=5022的记录，结果正常，说明查询时不检查外键约束
filedemage=# select * from table2 where t1id in(5022,5023);
id | t1id | stname
-------+------+--------
50511 | 5022 | abc
50512 | 5022 | abc
50513 | 5022 | abc
50514 | 5022 | abc
50515 | 5022 | abc
50516 | 5022 | abc
50517 | 5022 | abc
50518 | 5022 | abc
50519 | 5022 | abc
50520 | 5022 | abc
50521 | 5023 | abc
50522 | 5023 | abc
50523 | 5023 | abc
50524 | 5023 | abc
50525 | 5023 | abc
50526 | 5023 | abc
50527 | 5023 | abc
50528 | 5023 | abc
50529 | 5023 | abc
50530 | 5023 | abc

12
给table2中插入5022外键约束，提示失败
filedemage=# insert into table2 (id,stname)values(12312312321,'sdfs');ERROR: insert or update on table "table2" violates foreign key constraint "table2_distfk"
DETAIL: Key (t1id)=(5022) is not present in table "table1".
filedemage=# delete from table2 where id=50514;
DELETE 1
filedemage=#

实验二：
和上面的实验过程一样，只是通过修改二进制其中一段为全0破坏父表数据文件，然后重启数据库，父表中少了一条记录，子表中记录齐全，其他情况和父表相同。

1
清表table1,table2
filedemage=# delete from table2;
DELETE 100000
filedemage=# delete from table1;
DELETE 10000

2
确认清除table1,table2
filedemage=# select count(*) from table1;
count
-------
0
(1 row)

filedemage=# select count(*) from table2;
count
-------
0
(1 row)

3
插入记录
filedemage=# select funtest(1);
funtest
---------
1
(1 row)

4
确认已插入
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)

filedemage=# select count(*) from table2;
count
--------
100000
(1 row)

5
退出数据库，修改其中部分为全0
重启数据库
filedemage=# \q

[BeiGang@localhost bin]#
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#

6
登录数据库查询tabl1,table2的记录数，table1少了一条记录
filedemage=# select count(*) from table1;
count
-------
9999
(1 row)

filedemage=# select count(*) from table2;
count
--------
100000
(1 row)

filedemage=# show zero_damaged_pages;
zero_damaged_pages
--------------------
off
(1 row)

7
查询相关记录
filedemage=# select * from table1 where id in(6758,6759,6760)
filedemage-# ;
id | stname
------+--------
6758 | abc
6760 | abc
(2 rows)

filedemage=# select * from table2 where t1id in(6758,6760);
id | t1id | stname
--------+------+--------
267871 | 6758 | abc
267872 | 6758 | abc
267873 | 6758 | abc
267874 | 6758 | abc
267875 | 6758 | abc
267876 | 6758 | abc
267877 | 6758 | abc
267878 | 6758 | abc
267879 | 6758 | abc
267880 | 6758 | abc
267881 | 6759 | abc
267882 | 6759 | abc
267883 | 6759 | abc
267884 | 6759 | abc
267885 | 6759 | abc
267886 | 6759 | abc
267887 | 6759 | abc
267888 | 6759 | abc
267889 | 6759 | abc
267890 | 6759 | abc
267891 | 6760 | abc
267892 | 6760 | abc
267893 | 6760 | abc
267894 | 6760 | abc
267895 | 6760 | abc
267896 | 6760 | abc
267897 | 6760 | abc
267898 | 6760 | abc
267899 | 6760 | abc
267900 | 6760 | abc
(30 rows)

filedemage=#

实验三：
创建一个表，通过vi修改一段破坏该表数据文件，重启数据库，此时损坏的磁盘页面不可读，只能读取未损坏页上的数据

1
创建测试库
postgres=# create database filedemage;
CREATE DATABASE
postgres=# \c filedemage
You are now connected to database "filedemage" as user "postgres".
filedemage=#

2
查看测试库oid
filedemage=# select oid,* from pg_database;
24576 | filedemage |

3
在测试库中创建测试表
CREATE TABLE table1
(
id bigint NOT NULL,
CONSTRAINT table1_pkey PRIMARY KEY (id)
);

4
查看测试表relfilenode
filedemage=# select relname,relfilenode from pg_class where relname='table1' ;
relname | relfilenode
---------+--------------
table1 | 24577
(1 row)

5
给测试表中插入数据
insert into table1 select generate_series(1,10000),'test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf';

6
查看table1文件的大小
[BeiGang@localhost 24576]# du -sh 24577
992K 24577

7
查询表table1
filedemage=# select * from table1 ;
id | stname
-------+-----------------------------------------------------------
1 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
2 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
3 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
……
8
vi修改table1的文件，模拟文件损坏
[BeiGang@localhost 24576]# vi 24577

9
查询表table1
filedemage=# select * from table1 ;
id | stname
-------+-----------------------------------------------------------
1 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
2 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
3 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
……

10
退出数据库，重启pg，
filedemage=# \q
[BeiGang@localhost bin]# /etc/init.d/p
piranha-gui postfix psacct
portreserve postgresql-9.2 pulse
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#

11
重启pg，再查询table1
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.

filedemage=#
filedemage=# select * from table1 ;
ERROR: invalid page header in block 0 of relation base/24576/24577

12
编辑配置文件
[BeiGang@localhost bin]# vi ../data/postgresql.conf

zero_damaged_pages = on

13
重启
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully

14
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.

filedemage=# select * from table1 ;
WARNING: invalid page header in block 1 of relation base/24576/24577; zeroing out page
WARNING: invalid page header in block 2 of relation base/24576/24577; zeroing out page
……
WARNING: invalid page header in block 121 of relation base/24576/24577; zeroing out page
count
-------
110
(1 row)
filedemage=#

参考：
http://www.redgres.com/web/node/17 《Postgresql数据损坏恢复》 由于磁盘坏道或者是内存问题等硬件上的原因，有时候会导致数据库的数据文件的一些数据块的损坏，使得某些表不能正常访问，本文谈一下PostgreSQL数据块损坏时候，表数据的恢复方法。 PostgreSQL采用一个表存放在一个或者多个物理文件，所以数据块的损坏一般只会影响到一个表，使得该表的数据不能查询或者是备份，下面是一个常见的异常的例子： # select * from test ; ERROR: invalid page header in block 1 of relation base/34780/34781 这个错误是说数据所在的目录下面base子目录，oid为34780的数据库，表的文件id为34781的表（即上述例子的test）的第一页(注意是从0页开始)数据块的头出现了错误，所以数据库不能访问。 数据块的损坏的情形比较复杂，所以如何恢复，或者是能恢复到什么情形不能一概而论。最好的情况是丢失一个数据块里面的所有记录(也有可能只丢失某些记录，但是方法比较复杂)，最坏也有可能整个表丢失。PostgreSQL没有提供像Oracle那样的文件恢复或者是块修复的功能，但也有一些方法可以修复表，这里简单讨论一下一个数据块损坏的情况下，如何恢复。 最简单的方法是，用备份恢复！如果你有做备份和日志归档，则出现问题以后，恢复到最新即可。如果没有备份，则请参考下面的方法。 重要：在做下面的操作前，先把数据库的数据文件的目录先备份！！！！！ 方法1 利用参数zero_damaged_pages PostgreSQL提供了一个隐藏参数zero_damaged_pages， 当这个参数为true的时候，会忽略所有数据有损坏的页面。设置的方法为：打开postgresql.conf文件，在文件的添加一个参数zero_damaged_pages = true,重起PostgreSQL。 设置完后，当访问表的时候，会提示说已经忽略损坏的页面： # select count(*) from test ; WARNING: invalid page header in block 1 of relation base/34780/34781; zeroing out page count ------- 760 (1 row) 该表原有1000条记录，由于一个页面损坏，丢失了240条记录。表可以访问以后，可以把表dump下来，或者是select到另外一张临时表，然后把原来的表删除掉重建。当然如果有其他外部约束的话，相关的表和索引也要处理，这里不详细讨论。 这种方法不会对物理文件作修改，只是把内存上，损坏页面的缓存变为0。 方法2 手动清除损坏的页面 在某些情形下，zero_damaged_pages可能不一定有些，这时可以尝试手动把坏的页面清除。 根据错误提示 ERROR: invalid page header in block 1 of relation base/34780/34781 我们可以找到相应的文件,文件的路径为： 数据目录/base/34780/34781，只要用工具手动把上面提示的坏块清除即可。在Linux下面可以用dd工具把相应的页面清除： $dd if=/dev/zero of=/home/postgres/data/base/34780/42995 bs=8192 seek=1 count=1 conv=notrunc 清除完后，查询表即可正常访问。 # select count(*) from test ; count ------- 760 (1 row) 上面简单讨论了一下数据块损坏的表的恢复方法。由于这些方法都是有一定的局限性，而且丢失数据的数据量也不是完全确定，所以平时一定要做好备份工作。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Oracle数据迁移实用入门
文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能，但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务，于是研究了一下Oracle的数据导入导出，在这里跟大家分享一下。......_oracle 迁移方法 对比
MYSQL prefer_order_index 的罪责
文章浏览阅读553次。开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共700多人左右 1 + 2）。最近我们在使用MYSQL 8 的情况下（8.025）在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
使用Navicat连接opengauss数据库
文章浏览阅读3.5k次，点赞3次，收藏7次。折腾了两个小时多才成功连上，在这分享一下我的经验，也仅仅是经验分享，有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
PostgreSQL JSON 类型详解
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式，将数据组织成中详述的键/值对和数组。_postgresql json
springboot整合MyBatis-Plus和postgresql
文章浏览阅读2.9k次，点赞2次，收藏6次。navicat 连接postgresql 注：navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后，即可进行增删改查（略）安装好postgresql 略。更改配置信息（注释中有）_mybatisplus postgresql
postgre进阶sql
文章浏览阅读1.4k次。postgre进阶sql，包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用（查询所有表和字段及注释、查询表占用空间）、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
postgresql源码学习（36）—— 事务日志11 - 日志归档
文章浏览阅读3.3k次。上一篇我们学习了日志清理，日志清理虽然解决了日志膨胀的问题，但就无法再恢复检查点之前的一致性状态。因此，我们还需要日志归档，pg的日志归档原理和Oracle类似，不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外，还需要保证wal_level不能是MINIMAL状态（因为该状态下有些操作不会记录日志）。在db启动时，会同时检查archive_mode和wal_level。以下代码也在postmaster.c（PostmasterMain函数）。......_postgresql archive_mode
【新的小主机】向日葵远程控制ubuntu
文章浏览阅读3k次。系统：ubuntu22.04.3目的：利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
PGSQL表分区的实现方案和实践操作
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式，比如某张表过大就会造成查询变慢，可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1，继承式分区，分为触发器（trigger）和规则（rule）两种方式触发器的方式1）创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
ThingsBoard 3.1.1版本在window本地搭建物联网平台（一）
文章浏览阅读3.3k次。物联网平台开源的有几个，就我晓得的有、、thingskit、JetLink、DG-iot（还有其他开源的，欢迎在评论区留言哦！），然后重点分析了下ThingsBoard、ThingsPanel和JetLink，ThingsBoard和Jetlinks是工程师思维产品，可以更多的通过配置去实现开发的目的，ThingsPanel是业务人员思路产品，或者开发或者用，避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的，ThingsPanel是PHP开发的。_jetlinks和thingsboard
PostgreSQL 数据类型转换
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
编写sql统计一段时间内，每天、每月、每年的统计数据（PostgreSQL）
文章浏览阅读7k次，点赞3次，收藏14次。在做数据统计页面时，总会遇到统计某段时间内，每天、每月、每年的数据视图（柱状图、折线图等）。这些统计数据一眼看过去也简单呀，不就是按照时间周期（天、月、年）对统计数据进行分个组就完了嘛？但是会有一个问题，简单的写个sql对周期分组，获取到的统计数据是缺失的，即没有数据的那天，整条记录也都没有了。如下图需求：以当前月份（2023年2月）为起点，往后倒推一年，查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的，这条sql只查询到了有数据的月份（23年的1月、2月，22年的12月）_如何用一条sql查出按年按月按天的汇总
postgreSQL15发布，难掩激动快速尝鲜
文章浏览阅读3.8k次，点赞66次，收藏51次。PostgreSQL全球开发小组与2022年10月13日，宣布发布PostgreSQL15，这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
postgres源码解析53 磁盘管理器--2
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理，本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
PostgreSQL设置中文语言界面和局域网访问（Postgre入门二）
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
PostgreSQL 修改数据存储路径
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
芋道yudao-vue连接Postgresql:启动报错org.postgresql.util.PSQLException: ERROR: relation “dual“ does not exist
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
深度剖析PostgreSQL慢SQL：原因与优化方案大揭秘
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库，但在实际使用过程中，许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能，还会直接影响业务流程和用户体验。因此，本文将会深入分析PostgreSQL慢SQL的原因和优化方案，帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者，本文都将为你提供实用的技巧和方法，让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
Linux配置postgresql开机自启
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
centos7搭建postgresql主从（主备）架构
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA（高可用）架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot