postgresql最全整理资料,PostgreSQL 30天 培训视频(SQL基础,备份恢复,HA,服务端编程,大数据,内核,应用案例)

转载自:http://blog.163.com/digoal@126/blog/static/16387704020141229159715/
希望通过这些视频帮到一些朋友,同时对视频中的错误点烦请读者指出以更正,谢谢.
目前在更新的视频是《PostgreSQL 数据库管理 5天》和《PostgreSQL 性能优化 3天》.
在线观看地址 :
http://www.tudou.com/home/digoal/
培训视频源文件以及文档下载地址 :
http://pan.baidu.com/share/home?uk=1982970774#category/type=0

针对一些网友的反馈,重新设计的培训内容如下,由浅入深,适合不同的人群. 包含
《PostgreSQL发展历程,社区介绍,资源介绍 2小时》
《PostgreSQL SQL基础 2天》
《PostgreSQL 数据库管理 3天》
《PostgreSQL 数据库备份与恢复,数据复制,负载均衡与高可用 3天》
《PostgreSQL 服务端编程 3天》
《PostgreSQL 性能优化 3天》
《PostgreSQL 大数据应用 3天》
《PostgreSQL 内核 2天》
《PostgreSQL 应用案例 n天》
个人技术水平有限,应用案例的培训诚邀有经验的技术人员分享以拓展应用面,譬如游戏开发者,大数据分析产品的开发者等.

详细的课程内容如下 :
《PostgreSQL发展历程,资源介绍 2小时》

《PostgreSQL SQL基础 2天》
第一天
PostgreSQL的安装,架构基础介绍,如何创建和访问数据库;
SQL语言基础(创建表,操作表数据,表关联查询,聚合查询);
SQL高级应用(视图,外键,事务,窗口函数,继承);
SQL语义结构介绍(关键字,常量,操作符,特殊字符,注释,操作符的优先级);
值表达式介绍(列,位置参数,数组下标,field引用,操作符调用,函数调用,聚合表达式,窗口函数调用,类型转换,collate表达式,标量子查询,数组构造器,行构造器,表达式逻辑运算规则);
函数调用用法介绍(位置参数调用,命名参数调用,混合调用);
数据定义(默认值,约束,系统列,表结构和定义修改,权限,schema,继承,分区,外部数据);
第二天
数据查询(from子句,where子句,group by having子句,窗口子句,select子句,结果集合操作,排序,限制,位移,values子句,CET用法);
数据类型(数字,货币,字符,字节,时间,布尔,枚举,几何,网络,比特,文本搜索,UUID,XML,JSON,数组,复合类型,范围类型,对象类型,伪类型);
函数与操作符(逻辑,比较,数学运算,字符串,字节流,比特位,样式匹配,格式化,全文检索,序列,条件,范围,聚合,窗口,子查询,行与数组的比较,SRF函数,系统信息函数,系统管理函数,触发器函数,事件触发器函数);
类型转换;
索引用法;
全文检索用法;
并行控制;
SQL性能优化;

《PostgreSQL 数据库管理 3天》
第一天
PostgreSQL源代码安装(源码结构介绍,配置介绍,自定义FLAG介绍,内核参数优化,安装);
数据库服务器配置(OS USER,初始化集群,启动数据库集群,关闭数据库集群,升级数据库软件,防止欺骗,数据封装方法,SSL,SSH隧道)
数据库集群进程结构介绍(postmaster,logger,checkpointer,writer,wal writer,autovacuum launcher,autovacuum worker,stats collector,backend,worker);
认证和连接(客户端认证方法介绍,认证配置,常用认证方法使用举例,常见认证错误排错);
pgAdmin III 使用介绍(安装,使用,调试函数,维护数据);
数据库配置(guc.c,参数优先级,参数含义,开发参数,guc隐含参数,如何修改参数并使之生效,如何查看当前参数值,如何查看参数值的范围);
用户管理(创建角色,角色权限管理,角色membership管理,角色成员权限管理);
数据库逻辑结构(cluster,database,object,field,access privilege);
数据库物理结构(tablespace,datafile,segment,block,controlfile,xlog,archivelog);
第二天
数据库管理(创建表空间,创建数据库,创建数据库模板,数据库配置,删除数据库,跨数据库的数据访问);
基于角色的对象权限管理(表,列,数据库,域,外部数据,函数,语言,大对象,表空间,类型);
默认权限和继承权限(default privilege,inherit privilege);
数据库安全(认证,数据存储,密码,注入,欺骗);
数据库监控(状态监控,趋势监控,预警,常用监控工具和插件nagios,zabbix,pg_statsinfo);
多版本并发控制和垃圾回收;
日常维护(垃圾回收,数据重组,索引维护,VM维护,预防XID溢出,日志维护);
第三天
数据迁移(逻辑备份和还原,增量数据迁移的方法,异构数据迁移的方法(如oracle to postgresql));
如何打数据库补丁;
数据库版本升级(小版本升级方法,大版本升级方法);
建模与Benchmark(如何根据业务形态建立数据库测试模型,测试工具的使用,根据测试模型和硬件标准输出benchmark);
数据库日志分析(错误代码介绍,日志的筛选过滤,日志的维护);
数据库审计(参数层面的审计开关,定制化审计(如触发器结合HSTORE),审计数据的维护手段);
本地化(字符集,collate,编码转换,如何防止乱码);
数据库性能分析(OS性能分析报表,SQL性能分析报表);
数据库巡检(如何定制巡检项,指标,如何分析巡检报告);

《PostgreSQL 数据库备份与恢复,负载均衡与高可用 3天》
第一天
逻辑数据备份和还原(定制备份目标,备份集压缩,编辑TOC文件,可选还原,文本还原,命令详解pg_dump,pg_dumpall,pg_restore);
物理数据备份和基于时间点,XID,还原点的还原(物理备份原理,参数配置,fsync接口可靠性测试,归档脚本编写,备份演示,三种还原截止的演示,WAL不写场景的数据修正方法);
逻辑备份设计案例(在被管理的数据库较多的场景中,如何设计集中备份和元数据的管理,分布式文件系统的应用);
物理备份设计案例(在被管理的数据库较多的场景中,如何设计集中备份和元数据的管理);
数据库流复制概念(流复制协议的介绍,同步和异步的流复制架构,相关的参数,利用流复制协议的命令讲解pg_basebackup,pg_receivexlog);
容灾设计案例(log shipping,stream replication异地容灾架构,容灾需要考虑的WAN网络安全,数据加密,数据压缩,网络稳定性等问题);
第二天
数据复制的分类和应用场景(中间件数据分发的前端复制,基于触发器的后端复制,基于块变更的物理复制,基于xlog的逻辑复制);
前端数据复制应用案例(pgpool-II);
后端数据复制应用案例(londiste3,slony-I,触发器);
物理复制应用案例(同步和异步stream replication,log shipping);
XLOG逻辑复制应用案例(stream replication 9.4);
standby在升级PostgreSQL版本中的应用举例
第三天
高可用方案(介绍高可用的两种架构以及优缺点 - 共享存储,replication standby; 这两种HA架构的具体实施方法; 流复制HA的使用注意事项,WAL不写场景,异步场景的角色切换);
负载均衡案例(读写分离架构以及实现方法举例(pgpool-II),读写负载均衡架构以及实现方法举例(pgpool-II,plproxy,pg-xc));

《PostgreSQL 服务端编程 3天》
第一天
SQL函数(参数: 基本类型,复杂类型,OUTPUT,可变参数,默认值,表参数; 返回结果集; 返回表; 任意类型参数)
函数重载(同名,但是参数类型不同或参数个数不同)
函数稳定性(volatile,stable,immutable详解)
函数成本和执行计划
函数PLAN CACHE
第二天
过程语言(安装语言,语言可信度,plpgsql,plpython,…)
触发器
事件触发器
规则系统
第三天
C语言函数
聚合函数开发
函数内容加密
模块发布
代理函数语言(针对大数据的scale out,plproxy)

《PostgreSQL 性能优化 3天》
第一天
硬件架构(CPU,内存,磁盘,存储缓存,存储可靠性)
硬件benchmark(cpu,块设备)
文件系统特性以及优化(ext4,xfs,zfs,btrfs,…)
内核参数优化
缓存(本地缓存shared buffer,os cache; 外部缓存memcached,redis)
参数调优
多版本并发控制,锁,垃圾回收,HOT,如何减少产生垃圾
第二天
建模和压力测试,数据库benchmark(tpc-b,自定义benchmark)
索引(btree,hash,gin,gist,spgist索引用法,复合索引,排他索引,部分索引,函数索引,全文检索)
查询优化(柱状图,成本因子以及校准,explain,数据访问开关,plan cache,函数三态,join优化,geqo,CET,窗口函数)
统计信息(pg_stat*,pg_statio*)
状态监控和趋势报表
第三天
连接池
读写分离
数据分区(本地分区,异地分区)
负载均衡
DEBUG,TRACE,性能分析工具
性能优化案例

《PostgreSQL 大数据应用 3天》
第一天
本地数据分区
异地数据分区
负载均衡
物化视图在大数据中的应用
加速数据加载
加速数据导出
plproxy的架构以及用法
第二天
londiste3的架构以及用法
pg-xc的架构以及用法
pgpool-II的架构以及用法
第三天
citusdb的架构以及用法
greenplum的架构以及用法
fdw for MPP
实时大数据统计案例

《PostgreSQL 内核 2天》
第一天
进程结构
backend工作流(初始化工作流,主查询工作流,命令,辅助进程)
第二天
探针
动态内核跟踪

《PostgreSQL 应用案例 n天》
这部分内容大多来自我写过的BLOG,针对以前写过的一些和PG相关的专题文章细化再以视频的形式演示和讲解方便读者理解,适合有PostgreSQL基础的朋友.

PostgreSQL 性能优化视频(18集全) :
18. 性能优化培训 - 综合优化案例
http://www.tudou.com/programs/view/UeXudDhDaHU/
17. 性能优化培训 - 性能分析工具3,pg_statsinfo的使用(与DBA培训同集)
http://www.tudou.com/programs/view/5SUCgb7_hsY/
16. 性能优化培训 - 性能分析工具2,pg_stat_statements
http://www.tudou.com/listplay/JW66CCxpr-s/xkOD3u8kQkE.html
15. 性能优化培训 - 性能分析工具1,sar
http://www.tudou.com/listplay/JW66CCxpr-s/qX8HOgBZu2M.html
14. 性能优化培训 - PostgreSQL压力测试工具pgbench讲解
http://www.tudou.com/listplay/JW66CCxpr-s/OUl0DLhiJwg.html
13. 性能优化培训 - 如何让数据库输出好的执行计划,访问开关,指定表关联顺序,遗传算法
http://www.tudou.com/listplay/JW66CCxpr-s/dS2x85nosBw.html
12. 性能优化培训 - PostgreSQL锁的详解
http://www.tudou.com/listplay/JW66CCxpr-s/OsRGPcGEL9M.html
11. 性能优化培训 - PostgreSQL事务隔离级别讲解
http://www.tudou.com/listplay/JW66CCxpr-s/2sqzjiuqKFY.html
10. 性能优化培训 - 函数的三种稳定性状态对优化器的影响分解讲解
http://www.tudou.com/programs/view/p6E3oQEsZv0/
9. 性能优化培训 - PostgreSQL trace & debug (跟踪和调试)
http://www.tudou.com/programs/view/SbglCp2T3t4/
8. 性能优化培训 - 执行计划缓存管理,绑定变量接口
http://www.tudou.com/programs/view/kwmilXD7JEw/
7. 性能优化培训 - auto_explain插件,索引扫描引发的heap page scan被放大的实例讲解
http://www.tudou.com/programs/view/LwMWC4ZpOhU/
6. PostgreSQL 性能优化培训 - 执行计划成本因子(page scan cost,cpu cost)的校准方法实例讲解
http://www.tudou.com/programs/view/yQ0SzBqx_4w/
5. PostgreSQL 性能优化培训 - 行评估算法讲解,成本计算实例讲解
http://www.tudou.com/programs/view/3zgOuh7kbfs/
4. PostgreSQL 性能优化培训 - explain 实例讲解
http://www.tudou.com/programs/view/QztOh_hCFKw
3. PostgreSQL 性能优化培训 - explain输出结构信息详解
http://www.tudou.com/programs/view/OZSUbOFZ0U4
2. PostgreSQL 性能优化培训 - 统计信息详解,成本因子介绍
http://www.tudou.com/programs/view/oA1v5sDFq3Q/
1. PostgreSQL 性能优化培训 - 授课环境搭建讲解
http://www.tudou.com/programs/view/AVCbdfl9rH8/

PostgreSQL 9.3 管理视频(更新中) :
24. PostgreSQL 日常维护和巡检
http://www.tudou.com/programs/view/muc2XSx16lQ/
23. PostgreSQL 监控4 动态内核跟踪stap篇
http://www.tudou.com/programs/view/nNbwv33U9co/
22. PostgreSQL 监控3 PostgreSQL性能快照和图形化分析工具pg_statsinfo的使用
http://www.tudou.com/programs/view/5SUCgb7_hsY/
21. PostgreSQL 监控2 趋势监控数据收集和分析,nagios实时监控部署和自定义监控
http://www.tudou.com/programs/view/hzLFo5qGwqU/
20. PostgreSQL 监控1 统计进程和统计信息的解读
http://www.tudou.com/programs/view/TLi9Bohwles/
19. 锁介绍,锁类型,锁模式,锁冲突,死锁检测.
http://www.tudou.com/listplay/QHOjn39ooAI/GbMB1RCIZXk.html
18. 事务隔离级别的实现原理与多版本并发控制介绍
http://www.tudou.com/listplay/QHOjn39ooAI/iB-k4ekbqWE.html
17. shared nothing 分布式用法原理和介绍
http://www.tudou.com/listplay/QHOjn39ooAI/-bDZzJeFYaE.html
16. 本地分区表的用法和优化
http://www.tudou.com/listplay/QHOjn39ooAI/tthGvcvs_PY.html
15. 表级复制 - Londiste3,数据汇聚型,从多个节点汇聚复制到一个节点的场景.
http://www.tudou.com/listplay/QHOjn39ooAI/EpgRVjXllMg.html
14. 表级复制 - Londiste3,数据打散型,从一个节点打散复制到多个节点的复制场景,哈希数据分区.
http://www.tudou.com/listplay/QHOjn39ooAI/rjtjbYuYcsw.html
13. 表级复制 - Londiste3,级联复制以及provider角色的切换.
http://www.tudou.com/listplay/QHOjn39ooAI/4jBRN0k66fA.html
12. 表级复制 - Londiste3,一对多的复制,DDL的复制以及排错
http://www.tudou.com/listplay/QHOjn39ooAI/NlmfgJwqCbs.html
11. 表级复制 - Londiste3,安装和使用
http://www.tudou.com/listplay/QHOjn39ooAI/k1vIzHuUrSc.html
10. 表级复制 - 物化视图篇,支持本地复制,异地复制,异构复制(如oracle,mysql,mongodb,redis到postgresql的复制)
http://www.tudou.com/listplay/QHOjn39ooAI/aJkaz2lSM6g.html
9. 点对点的多主复制介绍(master-master),表级别-触发器篇
http://www.tudou.com/listplay/QHOjn39ooAI/1dW8TlhwG-I.html
8. 使用PG流复制搭建主从环境,同步和异步流复制的详细介绍,压力测试,主从角色切换.
http://www.tudou.com/listplay/QHOjn39ooAI/Ca8XPq5I7Ng.html
7. 物理备份和还原,逻辑备份和还原.
http://www.tudou.com/listplay/QHOjn39ooAI/Od0QoG3-leM.html
6. 连接池,本地高速缓存,异地高速缓存.
http://www.tudou.com/listplay/QHOjn39ooAI/gFoYdxzL3q4.html
5. 执行计划,成本计算公式,代价因子的校准,自动跟踪SQL执行计划.
http://www.tudou.com/listplay/QHOjn39ooAI/WyHZcxEz5N0.html
4. 索引,模糊查询,近似查询.
http://www.tudou.com/listplay/QHOjn39ooAI/X2U9f0s04h0.html
3. psql用法,SQL语法,数据类型,递归SQL用法.
http://www.tudou.com/listplay/QHOjn39ooAI/hYAo6pNgxaU.html
2. PostgreSQL 物理,逻辑,进程结构,系统表,系统函数介绍.
http://www.tudou.com/listplay/QHOjn39ooAI/zAAsgrbZOXs.html
1. PostgreSQL 系统概述与编译安装.
http://www.tudou.com/listplay/QHOjn39ooAI/1V_DtL2t0Qw.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备