postgresql源码学习（51）—— 提交日志CLOG 原理 用途 管理函数

分类：Postgre SQL作者：Hehuyi_In

一、 CLOG是什么

CLOG（commit log）记录事务的最终状态。

  • 物理上，是$PGDATA/pg_xact目录下的一些文件

  • 逻辑上，是一个数组，下标为事务id，值为事务最终状态

1. 事务最终状态

clog.h中定义了4种事务状态

/*
 * Possible transaction statuses --- note that all-zeroes is the initial
 * state. 全0为初始状态
 *
 * subcommitted状态表示子事务已提交，但父事务尚未提交或回滚
 */
typedef int XidStatus;

#define TRANSACTION_STATUS_IN_PROGRESS      0x00
#define TRANSACTION_STATUS_COMMITTED        0x01
#define TRANSACTION_STATUS_ABORTED          0x02
#define TRANSACTION_STATUS_SUB_COMMITTED    0x03

2. CLOG空间占用

      由于只有4种状态，因此只需要2个bit即可表示它们，一个字节则可以存4个事务的状态，在clog.c中也可以看到这些定义。

/* We need two bits per xact,so four xacts fit in a byte */
#define CLOG_BITS_PER_XACT  2
#define CLOG_XACTS_PER_BYTE 4
#define CLOG_XACTS_PER_PAGE (BLCKSZ * CLOG_XACTS_PER_BYTE)
#define CLOG_XACT_BITMASK   ((1 << CLOG_BITS_PER_XACT) - 1)
  • CLOG_BITS_PER_XACT：每个事务占用几个 bit（默认2）
  • CLOG_XACTS_PER_BYTE ：每个字节可以存几个事务的状态（默认4，8 bit/2）
  • CLOG_XACTS_PER_PAGE：每个页可以存几个事务的状态（默认8KB*4=32K=2^15个）
  • CLOG_XACT_BITMASK：位掩码（没查到是干啥的），计算方式是CLOG_BITS_PER_XACT左移1位然后减1。例如默认值为2，二进制为0010，左移一位0100，再减1则为0011

       另外在slru.h中还定义了SLRU段大小（CLOG日志缓冲池是基于SLRU缓冲池实现的）。

       32代表每个CLOG文件（段）由32个页组成，每个段可记录32*2^15=2^20个事务的状态。

#define SLRU_PAGES_PER_SEGMENT  32

       目前事务id为32位，最多有2^32个事务，因此最多需要2^32/2^20=2^12个日志段。

       CLOG以段号命名，因此只需要12位，不过实际上，pg是使用4位16进制数来表示段号，并作为日志名，也就是我们前面看到的0000,0001这种名字。

3. CLOG四元组

      前面提到，CLOG在逻辑上是一个数组，下标为事务id，值为事务最终状态。那么怎么通过事务id定位它在CLOG中的具体位置并获取事务最终状态？答案就是下面这个四元组：

#define TransactionIdToPage(xid)    ((xid) / (TransactionId) CLOG_XACTS_PER_PAGE)
#define TransactionIdToPgIndex(xid) ((xid) % (TransactionId) CLOG_XACTS_PER_PAGE)
#define TransactionIdToByte(xid)    (TransactionIdToPgIndex(xid) / CLOG_XACTS_PER_BYTE)
#define TransactionIdToBIndex(xid)  ((xid) % (TransactionId) CLOG_XACTS_PER_BYTE)
  • TransactionIdToPage：事务id对应在哪个CLOG页  
  • TransactionIdToPgIndex：事务id对应在上面页中的偏移量
  • TransactionIdToByte：事务id对应在上面页中第几个的字节
  • TransactionIdToBIndex：事务id对应在上面字节中的哪个bit

例如事务id 756，最终状态是已回滚

  • TransactionIdToPage = 756/(2^15)=0 -> 第0号page
  • TransactionIdToPgIndex = 756%(2^15)=0 -> 第0号page的756偏移位
  • TransactionIdToByte = 756/4=189 -> 第0号page的189个byte
  • TransactionIdToBIndex = 756%4=0 -> 该byte的首2位bit

查看clog

hexdump -C ./0000 -s 189 -n 1
# -C 定义导出的格式；-s 指定了从文件头跳过多少字节，默认十进制，0x开头则是十六进制；-n 指定导出多少字节长度

#define TRANSACTION_STATUS_ABORTED          0x02

二、 主要用途

CLOG中保存的事务最终状态用来干什么？答案是用来在可见性判断中确定事务的运行状态。

postgresql源码学习（十九）—— MVCC④-可见性判断 HeapTupleSatisfiesMVCC函数_Hehuyi_In的博客-CSDN博客 再回来看看这个复杂的流程图

       可以看到在t_infomask未设置时，会根据clog来判断事务是否提交。之前的文章也有提到过，这样做是为了加速判断，避免每行都需要读取clog文件（或者缓冲区）数据。

       流程图中可以看到，clog主要判断函数为 TransactionIdDidCommit，其实还有一个函数TransactionIdDidAbort也会查询pg_xact目录。另一个TransactionIdIsInProgress函数查的是PGPROC数组，这个函数过于复杂，这里就跳过了。

      除去子事务相关部分，其实这两个函数非常简单

/*
 * TransactionIdDidCommit
 *      True if transaction associated with the identifier did commit.
 * Note:
 *      Assumes transaction identifier is valid and exists in clog.
 */
bool                            /* true if given transaction committed */
TransactionIdDidCommit(TransactionId transactionId)
{
    XidStatus   xidstatus;
    xidstatus = TransactionLogFetch(transactionId);

    /*
     * If it's marked committed,it's committed.
     */
    if (xidstatus == TRANSACTION_STATUS_COMMITTED)
        return true;
…
    /*
     * It's not committed.
     */
    return false;
}
/*
 * TransactionIdDidAbort
 *      True iff transaction associated with the identifier did abort.
 * Note:
 *      Assumes transaction identifier is valid and exists in clog.
 */
bool                            /* true if given transaction aborted */
TransactionIdDidAbort(TransactionId transactionId)
{
    XidStatus   xidstatus;
    xidstatus = TransactionLogFetch(transactionId);

    /*
     * If it's marked aborted,it's aborted.
     */
    if (xidstatus == TRANSACTION_STATUS_ABORTED)
        return true;
…
    /*
     * It's not aborted.
     */
    return false;
}

三、 CLOG主要管理函数

       以下函数都在clog.c文件中，按照函数名和注释可以看出主要用途。下面按照pg 14版本简单记录，详情可以查看具体定义。

1. CLOG日志管理器启动

StartupCLOG函数：在pg启动后会调用，以启动CLOG日志管理器

2. CLOG日志管理器初始化

CLOGShmemInit函数：用于在共享内存中初始化CLOG缓冲池。

3. CLOG段创建

BootStrapCLOG函数：在PG安装及CLOGShmemInit函数执行后，会调用本函数创建第一个CLOG文件（0000），本函数会调用ZeroCLOGPage函数

4. CLOG页面初始化

ZeroCLOGPage函数：初始化指定页面为全0

5. CLOG读操作

TransactionIdGetStatus函数：从CLOG文件（缓冲池）中读取日志记录，获取事务状态位

6. CLOG写操作

TransactionIdSetStatusBit函数：设置事务状态位，实际就是在CLOG文件中写该事务对应的CLOG日志记录。

7. CLOG的扩展

ExtendCLOG函数：为新分配的事务id创建CLOG一个新页，以供日志记录写入

8. 构建CLOG页时创建XLOG记录

WriteZeroPageXlogRec函数：当创建新CLOG页时，调用本函数创建一条” CLOG_ZEROPAGE”类型的XLOG记录，保存所创建的CLOG页号，用于在系统崩溃或恢复时重建CLOG

9. CLOG的REDO操作

clog_redo函数：前面提到在创建新CLOG页时会记XLOG日志，在REDO执行过程中，当遇到CLOG_ZEROPAGE和CLOG_TRUNCATE类型的XLOG记录时，则由该函数处理

10. 创建检查点时CLOG的操作

CheckPointCLOG函数：创建检查点时，调用该函数将脏CLOG页写入磁盘

11. CLOG删除

TruncateCLOG函数：以CLOG段为单位，删除已经过时的事务id（由AdvanceOldestClogXid函数确定哪些已经过时）对应的事务状态记录文件

12. CLOG关闭

旧版本在ShutdownCLOG函数，pg 14中没有该函数了

参考

《PostgreSQL数据库内核分析》第7章

https://www.interdb.jp/pg/pgsql05.html#_5.4.

[2021-06-17]PostgreSQL事物提交日志信息clog解析_qxy0503的博客-CSDN博客

hexdump的用法_lijun5635的博客-CSDN博客_hexdump 大小端

PostgreSQL DBA(22) - MVCC#2(commit log)_ITPUB博客

https://www.slideshare.net/pgday_seoul/pgdayseoul-2017-3-postgresql-wal-buffers-clog-buffers-deep-dive

原文地址：https://blog.csdn.net/Hehuyi_In/article/details/128115200

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Oracle数据迁移实用入门
文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能，但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务，于是研究了一下Oracle的数据导入导出，在这里跟大家分享一下。......_oracle 迁移方法 对比
MYSQL prefer_order_index 的罪责
文章浏览阅读553次。开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共700多人左右 1 + 2）。最近我们在使用MYSQL 8 的情况下（8.025）在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
使用Navicat连接opengauss数据库
文章浏览阅读3.5k次，点赞3次，收藏7次。折腾了两个小时多才成功连上，在这分享一下我的经验，也仅仅是经验分享，有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
PostgreSQL JSON 类型详解
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式，将数据组织成中详述的键/值对和数组。_postgresql json
springboot整合MyBatis-Plus和postgresql
文章浏览阅读2.9k次，点赞2次，收藏6次。navicat 连接postgresql 注：navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后，即可进行增删改查（略）安装好postgresql 略。更改配置信息（注释中有）_mybatisplus postgresql
postgre进阶sql
文章浏览阅读1.4k次。postgre进阶sql，包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用（查询所有表和字段及注释、查询表占用空间）、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
postgresql源码学习（36）—— 事务日志11 - 日志归档
文章浏览阅读3.3k次。上一篇我们学习了日志清理，日志清理虽然解决了日志膨胀的问题，但就无法再恢复检查点之前的一致性状态。因此，我们还需要日志归档，pg的日志归档原理和Oracle类似，不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外，还需要保证wal_level不能是MINIMAL状态（因为该状态下有些操作不会记录日志）。在db启动时，会同时检查archive_mode和wal_level。以下代码也在postmaster.c（PostmasterMain函数）。......_postgresql archive_mode
【新的小主机】向日葵远程控制ubuntu
文章浏览阅读3k次。系统：ubuntu22.04.3目的：利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
PGSQL表分区的实现方案和实践操作
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式，比如某张表过大就会造成查询变慢，可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1，继承式分区，分为触发器（trigger）和规则（rule）两种方式触发器的方式1）创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
ThingsBoard 3.1.1版本在window本地搭建物联网平台（一）
文章浏览阅读3.3k次。物联网平台开源的有几个，就我晓得的有、、thingskit、JetLink、DG-iot（还有其他开源的，欢迎在评论区留言哦！），然后重点分析了下ThingsBoard、ThingsPanel和JetLink，ThingsBoard和Jetlinks是工程师思维产品，可以更多的通过配置去实现开发的目的，ThingsPanel是业务人员思路产品，或者开发或者用，避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的，ThingsPanel是PHP开发的。_jetlinks和thingsboard
PostgreSQL 数据类型转换
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
编写sql统计一段时间内，每天、每月、每年的统计数据（PostgreSQL）
文章浏览阅读7k次，点赞3次，收藏14次。在做数据统计页面时，总会遇到统计某段时间内，每天、每月、每年的数据视图（柱状图、折线图等）。这些统计数据一眼看过去也简单呀，不就是按照时间周期（天、月、年）对统计数据进行分个组就完了嘛？但是会有一个问题，简单的写个sql对周期分组，获取到的统计数据是缺失的，即没有数据的那天，整条记录也都没有了。如下图需求：以当前月份（2023年2月）为起点，往后倒推一年，查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的，这条sql只查询到了有数据的月份（23年的1月、2月，22年的12月）_如何用一条sql查出按年按月按天的汇总
postgreSQL15发布，难掩激动快速尝鲜
文章浏览阅读3.8k次，点赞66次，收藏51次。PostgreSQL全球开发小组与2022年10月13日，宣布发布PostgreSQL15，这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
postgres源码解析53 磁盘管理器--2
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理，本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
PostgreSQL设置中文语言界面和局域网访问（Postgre入门二）
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
PostgreSQL 修改数据存储路径
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
芋道yudao-vue连接Postgresql:启动报错org.postgresql.util.PSQLException: ERROR: relation “dual“ does not exist
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
深度剖析PostgreSQL慢SQL：原因与优化方案大揭秘
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库，但在实际使用过程中，许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能，还会直接影响业务流程和用户体验。因此，本文将会深入分析PostgreSQL慢SQL的原因和优化方案，帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者，本文都将为你提供实用的技巧和方法，让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
Linux配置postgresql开机自启
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
centos7搭建postgresql主从（主备）架构
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA（高可用）架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot