PostgreSQL共享缓冲区部分代码阅读总结一

http://blog.sina.com.cn/s/blog_48c95a190100grf9.html

PostgreSQL中缓冲区管理主要分为共享缓冲区和管理和本地缓冲区管理两大部分,其中共享缓冲区结构以及管理方法主要定义在文件pgsql/src/backend/storage/buffer/buf_init.c,文件pgsql/src/backend/storage/buffer/buf_table.c,文件pgsql/src/backend/storage/buffer/bufmgr.c和文件pgsql/src/backend/storage/buffer/freelist.c中。

我们首先来看文件pgsql/src/backend/storage/buffer/buf_init.c,这个文件主要就是定义了共享缓冲区管理器的初始化方法。在本地缓冲区管理器部分我们知道缓冲区的组织至少包括三个部分:缓冲区块、缓冲区描述器以及引用计数,共享缓冲区也是一样。在文件的开始就定义了这三个全局变量,唯一跟本地缓冲区不同的地方就是,这里定义的变量名前面都没有Local这个字符串,此外这里引用计数的名称前加了一个Private

BufferDesc *BufferDescriptors;

char *BufferBlocks;

int32 *PrivateRefCount;

然后就是一些其他的用于统计信息的计数器变量:

long int ReadBufferCount;

long int ReadLocalBufferCount;

long int BufferHitCount;

long int LocalBufferHitCount;

long int BufferFlushCount;

long int LocalBufferFlushCount;

long int BufFileReadCount;

long int BufFileWriteCount;

其中包括读缓冲区的次数、缓冲区命中的次数、缓冲区文件的读写次数等等,通过这些统计数据我们就可以计算缓冲区命中率一类的更有意义的数据信息。

共享缓冲区因为会涉及到多个事务的并发访问以及日志的记录和检查点的处理,所以相较于本地缓冲区的管理更加复杂,涉及到的数据结构也更加繁琐。在这里,和本地缓冲区一样,我们首先介绍共享缓冲区的初始化。

void

InitBufferPool(void)

{

bool foundBufs,foundDescs;

BufferDescriptors = (BufferDesc *)

ShmemInitStruct("Buffer Descriptors",

NBuffers * sizeof(BufferDesc),&foundDescs);

BufferBlocks = (char *)

ShmemInitStruct("Buffer Blocks",'serif'">NBuffers * (Size) BLCKSZ,&foundBufs);

调用函数ShmemInitStruct为缓冲区描述器和缓冲区块分配空间,和本地缓冲区不同的

是这里没有连同私有引用计数一起分配,函数ShmemInitStruct定义在文件pgsql/src/backend/storage/ipc/shmem.c中,它会根据第一个参数,也就是共享内存数据结构的名称来判断这个结构在共享内存中是否已经存在,如果不存在的话就在共享内存段中分配一个这样的结构,我们稍后会对这个重要的函数进行分析。

if (foundDescs || foundBufs)

{

Assert(foundDescs && foundBufs);

}

如果通过调用函数ShmemInitStruct我们发现缓冲区描述器或者缓冲区块已经分配了的

话我们就要验证这两个结构都是已经分配的,因为这两个结构肯定是一起分配的,如果一个还存在另一个已经不存在的话就说明共享内存段出了问题。

else

BufferDesc *buf;

int i;

buf = BufferDescriptors;

如果这两个结构以前都不存在,都是新创建的话,我们就需要对其进行初始化配置。

在这里,和本地缓冲区一样我们通过循环遍历来对缓冲区描述器进行初始化。

for (i = 0; i < NBuffers; buf++,i++)

{

CLEAR_BUFFERTAG(buf->tag);

buf->flags = 0;

buf->usage_count = 0;

buf->refcount = 0;

buf->wait_backend_pid = 0;

SpinLockInit(&buf->buf_hdr_lock);

buf->buf_id = i;

这里在缓冲区描述器中存放的buf_id就是非负数,即从09991000个缓

冲区块。

buf->freeNext = i + 1;

buf->io_in_progress_lock = LWLockAssign();

buf->content_lock = LWLockAssign();

因为一开始所有的缓冲区块都是空闲的,所以每个缓冲区块的freeNext指针都

指向它的下一个缓冲区块,而最后一个缓冲区块的freeNext域则为FREENEXT_END_OF_LIST

}

BufferDescriptors[NBuffers - 1].freeNext = FREENEXT_END_OF_LIST;

StrategyInitialize(!foundDescs);

这里调用函数StrategyInitialize来对缓冲区策略进行初始化,跟本地缓冲区不一样,共

享缓冲区有一个专门的数据结构类型BufferStrategyControl对缓冲区的替换进行控制,函数StrategyInitialize就是对这个结构类型进行一些初始化的工作。

}

通过上面的分析我们知道InitBufferPool这个函数主要就是实现了对共享缓冲区部分两个重要数据结构的地址分配缓冲区块和缓冲区描述器,其次就是初始化一个专门用于缓冲区替换策略控制的数据结构。在代码的分析中我们已经提到就是InitBufferPool这个函数并没有给缓冲区块一起分配针对缓冲区块的引用计数,所以下面的函数InitBufferPoolAccess就是实现对引用计数的分配的,至于为什么将这两部分分开放在两个函数中还有待进一步探究。

InitBufferPoolAccess(void)

PrivateRefCount = (int32 *) calloc(NBuffers,sizeof(int32));

if (!PrivateRefCount)

ereport(FATAL,'serif'">(errcode(ERRCODE_OUT_OF_MEMORY),'serif'">errmsg("out of memory")));

就是分配一个大小为1000的数组,数组元素类型为整型。

}

文件pgsql/src/backend/storage/buffer/buf_init.c中还有另外一个函数BufferShmemSize,这个函数用来计算缓冲区所需的共享内存的空间大小。

Size

BufferShmemSize(void)

Size size = 0;

size = add_size(size,mul_size(NBuffers,sizeof(BufferDesc)));

这里就是分别计算了缓冲区描述器、缓冲区块以及缓冲区策略所占用的内存地址大小,

然后将三者相加之后返回,这里也没有将引用计数的空间大小计算在内,这不得不使我们隐约地感到引用计数是不算在共享缓冲区里面的,事实真相有待进一步揭示。

return size;

}

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备