PostgreSQL的热备和恢复

分类：Postgre SQL作者：编程之家用户
PostgreSQL的PITR技术（Point-In-Time-Recovery）
--Seamus Dean 2005-04-11(at PostgreSQL-8.0.2 release)

http://www.cnblogs.com/wllyy189/archive/2008/07/11/1240478.html


为什么要写这篇文章？
因为我看了一下，国内所有的PostgreSQL教程都没有很详细的介绍该功能，而相反，国内的Oracle
文章对这块非常的看重。虽然，PostgreSQL的官方文档有一个章节是介绍这块内容的，
但是写得太过‘文学’化。
的确，一个数据库的可靠性和完整性是非常重要的，否则，很难叫人们所接受它。
本文假设读者对PostgreSQL已经有基本的认识，如果你对PostgreSQL还完全不熟悉的话，建议你先
去http://www.postgresql.org看看它的Documentation.
作为最强大的开源数据库，PostgreSQL拥有一切商业数据库所拥有的功能，甚至比商业数据库更好。
在以前的版本中，它在数据恢复，可靠性方面做的不太好，但经过最近几年的发展，已经可以和Oracle
媲美了。
在PostgreSQL7的时候就引入了WAL（Write Ahead Logging）的概念，即预写日志，所有对数据库的更改，
在更改之前必须写到该LOG中，这样，就算机器断电，PostgreSQL也可以从该LOG中知道数据库在断电前做
了什么操作，已经做到第几步了，这样保证了所有事务的完整性，但PostgreSQL7没有提供很好的灾难恢复
机制，一旦数据库崩溃，除非你曾经对数据库作过pg_dump或者file system level backup,否则，你的数据
将全部丢失，并且，就算你曾经对数据库做过备份，也只能恢复到你备份的那一刻的数据，这对一个生产数据库
（特别是24*7生产库）来说，是无法容忍的。
PostgreSQL8的推出，使PostgreSQL的稳定性和可靠性又迈出了划时代的一步。
除了提供对tablespace的支持外，PostgreSQL8提供了支持时间点的恢复---PITR.
其基本原理和Oracle的热备份完全一样：
首先，对数据库在file system level做一个backup(PostgreSQL是首先用pg_start_backup('label')命令，
然后用tar直接tar整个data目录，假设命名为base.tar,然后pg_stop_backup();结束热备。
Oracle首先是用alter tablespace xxx begin backup,然后直接cp数据文件);
然后，备份相关的配置文件(PostgreSQL只需备份postgresql.conf,pg_hba.conf,pg_ident.conf就可以了，其实，
前面的tar已经将这些文件备份了，Oracle需要alter database backup control file......)；
最后，备份WAL(
可以设置postgresql.conf中的archive_command，
该命令可以让PostgreSQL8自动将需要的归档的日志文件备份的其他地方中。
但是注意：如果你是让PostgreSQL8调用archive_command来备份WAL的话，
可能根本就做不到PITR，我做过实验，如果依靠base.tar和archive_command产生的WAL其实只能恢复到最后一个
archive_command保存的WAL的数据，pg_xlog/下面可能还有数据，如果PostgreSQL8的数据目录彻底损坏的话，还是会
丢失数据，所以，我建议，在写数据备份脚本的时候，最好将pg_xlog/下面的WAL也一起备份，见下面的cpArch.sh。
)。
如果数据库崩溃，我们就可以使用热备产生的base.tar和archive_command产生的WAL和我们自己备份的WAL(pg_xlog)来进行数据库的
recovery.
下面举例来说明：
我的PostgreSQL运行在：/home/pgsql/下面
数据目录在：/home/pgsql/database/
将热备数据文件备份到/disk3/PostgreSQL/base/下面
将WAL备份到/disk3/PostgreSQL/archives/下面
postgresql.conf中定义了如下的archive_command:
archive_command = 'cp -f %p /disk3/PostgreSQL/archives/%f'
该命令会将PostgreSQL产生的WAL cp到/disk3/PostgreSQL/archives/中。
我的热备脚本如下：
(1)为了使丢失的数据在一分钟之内，在crontab中每分钟将pg_xlog/下面的WAL
backup到/disk3/PostgreSQL/archives/。
crontab:
*/1 * * * * /home/pgsql/bin/cpArch.sh
cpArch.sh:
#!/bin/sh
cp -f /home/pgsql/database/pg_xlog/[0-9]* /disk3/PostgreSQL/archives/
(2)编写热备脚本hotBackup.pl(我用perl)：
#!/usr/bin/perl
#############################################################
# hotBackup.pl
# Use to hot backup the PostgreSQL database.
# Author:Seamus Dean
# Date:2005-04-11
##############################################################
my($datadir) ="/home/pgsql/database";
my($bindir) ="/home/pgsql/bin";
my($backupdir) ="/disk3/PostgreSQL/base";
my($receiver) ="ljh13\@sina.com.cn";
sub begin_backup()
{
open(PSQL,"$bindir/psql" or mail_user("begin backup error." && exit(100);
print PSQL "select pg_start_backup('backupnow');\n";
close(PSQL);
}
sub end_backup()
or mail_user("end backup error." print PSQL "select pg_end_backup();\n";
sub do_backup()
system("/bin/tar cvf base.tar $datadir" ;
system("/bin/mv -f base.tar $backupdir/" sub mail_user()
my($msg) =@_;
open(MAIL,"|/bin/mail -s backup-result $receiver" or die("can not talk to:mail command.\n" print MAIL $msg;
close(MAIL);
###################################
# tell psql begin our backup
&begin_backup();
# do tar
&do_backup();
####################################
# tell psql end backup
&end_backup();
# mail the user about the result
&mail_user(" ostgreSQL backup successfully." 到这里，备份脚本基本上就完了，你可以将hotBackup.pl放在crontab中周期性的执行。
就算/home/pgsql/database目录彻底崩溃，我们可以像下面这样迅速恢复到1分钟内的数据：
#cp /disk3/PostgreSQL/base/base.tar./
#tar xvf base.tar
#cd database/
#vi recovery.conf
输入如下内容：
restore_command='cp /disk3/PostgreSQL/archives/%f "%p"'
然后将/home/pgsql/database/pg_xlog/下面的WAL清空。
启动PostgreSQL,我们可以看到如下的LOG信息：
LOG:could not create IPv6 socket: Address family not supported by protocol
LOG:database system was interrupted at 2005-04-11 23:13:28 PDT
LOG:starting archive recovery
LOG:restore_command = "cp /disk3/PostgreSQL/archives/%f "%p""
cp: cannot stat `/disk3/PostgreSQL/archives/00000001.history': No such file or directory
LOG:restored log file "00000001000000000000002E.008EFCAC.backup" from archive
LOG:restored log file "00000001000000000000002E" from archive
LOG:checkpoint record is at 0/2E8EFCAC
LOG:redo record is at 0/2E8EFCAC; undo record is at 0/0; shutdown FALSE
LOG:next transaction ID: 5271; next OID: 6351357
LOG:automatic recovery in progress
LOG:redo starts at 0/2E8EFCE8
LOG:restored log file "00000001000000000000002F" from archive
LOG:restored log file "000000010000000000000030" from archive
LOG:restored log file "000000010000000000000031" from archive
LOG:restored log file "000000010000000000000032" from archive
LOG:restored log file "000000010000000000000033" from archive
LOG:restored log file "000000010000000000000034" from archive
LOG:restored log file "000000010000000000000035" from archive
LOG:restored log file "000000010000000000000036" from archive
LOG:restored log file "000000010000000000000037" from archive
LOG:restored log file "000000010000000000000038" from archive
LOG:restored log file "000000010000000000000039" from archive
LOG:restored log file "00000001000000000000003A" from archive
LOG:restored log file "00000001000000000000003B" from archive
LOG:restored log file "00000001000000000000003C" from archive
LOG:restored log file "00000001000000000000003D" from archive
LOG:restored log file "00000001000000000000003E" from archive
LOG:restored log file "00000001000000000000003F" from archive
LOG:restored log file "000000010000000000000040" from archive
LOG:restored log file "000000010000000000000041" from archive
LOG:restored log file "000000010000000000000042" from archive
LOG:restored log file "000000010000000000000043" from archive
LOG:restored log file "000000010000000000000044" from archive
LOG:restored log file "000000010000000000000045" from archive
LOG:restored log file "000000010000000000000046" from archive
LOG:restored log file "000000010000000000000047" from archive
LOG:restored log file "000000010000000000000048" from archive
LOG:restored log file "000000010000000000000049" from archive
LOG:restored log file "00000001000000000000004A" from archive
LOG:restored log file "00000001000000000000004B" from archive
LOG:restored log file "00000001000000000000004C" from archive
LOG:record with zero length at 0/4C2BABE4
LOG:redo done at 0/4C2BABA8
LOG:archive recovery complete
LOG:database system is ready
显示数据已经成功恢复。
/home/pgsql/database/下面的recovery.conf会变为：recovery.done.
结论：
PostgreSQL8的PITR已经做得非常的成功，完全有可能替代Oracle,Sqlserver
而成为企业的首选。所以，我们玩PostgreSQL的兄弟们，一定要对它有信心！

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Oracle数据迁移实用入门
文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能，但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务，于是研究了一下Oracle的数据导入导出，在这里跟大家分享一下。......_oracle 迁移方法 对比
MYSQL prefer_order_index 的罪责
文章浏览阅读553次。开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共700多人左右 1 + 2）。最近我们在使用MYSQL 8 的情况下（8.025）在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
使用Navicat连接opengauss数据库
文章浏览阅读3.5k次，点赞3次，收藏7次。折腾了两个小时多才成功连上，在这分享一下我的经验，也仅仅是经验分享，有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
PostgreSQL JSON 类型详解
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式，将数据组织成中详述的键/值对和数组。_postgresql json
springboot整合MyBatis-Plus和postgresql
文章浏览阅读2.9k次，点赞2次，收藏6次。navicat 连接postgresql 注：navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后，即可进行增删改查（略）安装好postgresql 略。更改配置信息（注释中有）_mybatisplus postgresql
postgre进阶sql
文章浏览阅读1.4k次。postgre进阶sql，包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用（查询所有表和字段及注释、查询表占用空间）、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
postgresql源码学习（36）—— 事务日志11 - 日志归档
文章浏览阅读3.3k次。上一篇我们学习了日志清理，日志清理虽然解决了日志膨胀的问题，但就无法再恢复检查点之前的一致性状态。因此，我们还需要日志归档，pg的日志归档原理和Oracle类似，不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外，还需要保证wal_level不能是MINIMAL状态（因为该状态下有些操作不会记录日志）。在db启动时，会同时检查archive_mode和wal_level。以下代码也在postmaster.c（PostmasterMain函数）。......_postgresql archive_mode
【新的小主机】向日葵远程控制ubuntu
文章浏览阅读3k次。系统：ubuntu22.04.3目的：利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
PGSQL表分区的实现方案和实践操作
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式，比如某张表过大就会造成查询变慢，可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1，继承式分区，分为触发器（trigger）和规则（rule）两种方式触发器的方式1）创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
ThingsBoard 3.1.1版本在window本地搭建物联网平台（一）
文章浏览阅读3.3k次。物联网平台开源的有几个，就我晓得的有、、thingskit、JetLink、DG-iot（还有其他开源的，欢迎在评论区留言哦！），然后重点分析了下ThingsBoard、ThingsPanel和JetLink，ThingsBoard和Jetlinks是工程师思维产品，可以更多的通过配置去实现开发的目的，ThingsPanel是业务人员思路产品，或者开发或者用，避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的，ThingsPanel是PHP开发的。_jetlinks和thingsboard
PostgreSQL 数据类型转换
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
编写sql统计一段时间内，每天、每月、每年的统计数据（PostgreSQL）
文章浏览阅读7k次，点赞3次，收藏14次。在做数据统计页面时，总会遇到统计某段时间内，每天、每月、每年的数据视图（柱状图、折线图等）。这些统计数据一眼看过去也简单呀，不就是按照时间周期（天、月、年）对统计数据进行分个组就完了嘛？但是会有一个问题，简单的写个sql对周期分组，获取到的统计数据是缺失的，即没有数据的那天，整条记录也都没有了。如下图需求：以当前月份（2023年2月）为起点，往后倒推一年，查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的，这条sql只查询到了有数据的月份（23年的1月、2月，22年的12月）_如何用一条sql查出按年按月按天的汇总
postgreSQL15发布，难掩激动快速尝鲜
文章浏览阅读3.8k次，点赞66次，收藏51次。PostgreSQL全球开发小组与2022年10月13日，宣布发布PostgreSQL15，这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
postgres源码解析53 磁盘管理器--2
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理，本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
PostgreSQL设置中文语言界面和局域网访问（Postgre入门二）
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
PostgreSQL 修改数据存储路径
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
芋道yudao-vue连接Postgresql:启动报错org.postgresql.util.PSQLException: ERROR: relation “dual“ does not exist
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
深度剖析PostgreSQL慢SQL：原因与优化方案大揭秘
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库，但在实际使用过程中，许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能，还会直接影响业务流程和用户体验。因此，本文将会深入分析PostgreSQL慢SQL的原因和优化方案，帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者，本文都将为你提供实用的技巧和方法，让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
Linux配置postgresql开机自启
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
centos7搭建postgresql主从（主备）架构
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA（高可用）架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot