postgresql9.5 物化视图测试

copyrighthttp://cupegraf.com/


视图是指数据库只存储定义该视图的查询语句(内容是查询时产生),而物化视图是一个其查询语句查询后的内容并存储的视图(内容是创建物化视图刷新视图时产生,数据可修改。独立)。因为物化视图是视图的一个物化表结构,但是里面的数据是创建时刷新查询到额数据,当原数据更新修改时如果物化视图的表没有更新会造成数据的不一致。从9.4开始增加增量刷新,9.5的版本中支持物化视图也支持索引,修改表空间,指定用户访问权限


postgresql9.5物化视图测试:



search package: sudo apt-cache search dtrace-*

dtrac && readline install :sudo apt-get installsystemtap-sdt-dev libssl-devlibpam-dev libxml2-dev libxslt-devlibtcl8.4 libperl-dev python-dev

./configure --prefix=/home/pg5/pgsql9.5-devel --with-port=5433 --with-perl --without-tcl --with-python --with-openssl --with-pam --without-ldap --with-libxml --with-libxslt --enable-thread-safety --with-blocksize=32 --enable-dtrace --enable-debug


make

sudo make install

cd postgresql源码目录/contrib

make

sudo make install(后面要用到fdw)

.bashrc的环境变量要配置:

exportPGHOME=/home/pg5/pgsql9.5-devel
exportPATH=$PATH:$PGHOME/bin
exportPGDATA=/home/pg5/data
exportPGUSER=pg5
exportPGPORT=5433


测试数据:

createdatabaseeachmaENCODING=UTF8;
createtabletbl(idintprimarykey,infotext,crt_timetimestamp);
insertintotblselectgenerate_series(1,100000),md5(random()::text),clock_timestamp();
creatematerializedviewtbl_viewasselect*fromtblwhereid<1000withnodata;
creatematerializedviewtbl_view1asselect*fromtblwithnodata;
createuniqueindexidx_tbl_view_idontbl_view(id);
createuniqueindexidx_tbl_view1_idontbl_view1(id);
refreshmaterializedviewtbl_view;
refreshmaterializedviewtbl_view1;
\timing#打开事务执行时间


增量刷新;refresh materialized view concurrently tbl_view1;

非增量刷新:refresh materialized view tbl_view1;

pg中查看物化视图表:

select * from pg_matviews;

eachma=#select*frompg_matviews;
-[RECORD1]+-------------------------
schemaname|public
matviewname|tbl_view
matviewowner|pg5
tablespace|
hasindexes|t
ispopulated|t
definition|SELECTtbl.id,+
|tbl.info,+
|tbl.crt_time+
|FROMtbl+
|WHERE(tbl.id<1000);
-[RECORD2]+-------------------------
schemaname|public
matviewname|tbl_view1
matviewowner|pg5
tablespace|
hasindexes|t
ispopulated|t
definition|SELECTtbl.id,+
|tbl.crt_time+
|FROMtbl;

Time:0.758ms


增量刷新不会锁表,阻断其他查询。但是视图的非增量刷新会锁表。两者利弊不一,前者不锁表,但是执行需要的时间比较长,因为是Join查询需要一条条的数据进行对比,以时间来换取查询锁。以至于不会影响到物化视图的查询工作。而后者的执行等待时间比较短.但其他的查询需要等待刷新之后才能完成:

增量刷新:

eachma=#begin;
BEGIN
Time:0.117ms
eachma=#refreshmaterializedviewconcurrentlytbl_view1;
REFRESHMATERIALIZEDVIEW
Time:2085.527ms
eachma=#commit;
COMMIT
Time:2.718ms
eachma=#end
#非增量刷新
eachma=#begin;
BEGIN
Time:0.104ms
eachma=#refreshmaterializedviewtbl_view1;
REFRESHMATERIALIZEDVIEW
Time:209.312ms
eachma=#commit;
COMMIT
Time:9.777ms
eachma=#end;
WARNING:thereisnotransactioninprogress
COMMIT
Time:0.318ms

pg是支持外部表物化视图。例如oracle里面有一个表的数据是我们想需要的,但是一般情况下是需要我们通过odbc或者是dump出来。但是因为pg支持外部表(FDW,dblink)。可以通过创建一个我们需要oracle中数据,那么可以先创建一个外部表,然后给这个外部表创建物化视图,这样也减少的数据的拷贝,oracle有数据更新时也可以去更新视图。但要注意物化视图的表增量的刷新要与远程表规则一致(索引)

下面是做一个外部表(以postgresql9.4的库为外部库)的物化视图测试:

eachma=# CREATE EXTENSION postgres_fdw;

安装成功:

eachma=#\df
Listoffunctions
Schema|Name|Resultdatatype|Argumentdatatypes|Type
--------+------------------------+------------------+---------------------+--------
public|postgres_fdw_handler|fdw_handler||normal
public|postgres_fdw_validator|void|text[],oid|normal
createserverpg4VERSION'9.4'foreigndatawrapperpostgres_fdwOPTIONS(host'211.69.228.50',dbname'tech',port'5432');#创建server

CREATEUSERMAPPINGforpg5serverpg4options(user'eachma',password'612345');#创建映射用户

CREATEFOREIGNTABLEorders(order_numintegernotnull,order_datedatenotnull,cust_idcharacter(10)notnull)serverpg4OPTIONS(schema_name'public',table_name'orders');#外部表目前不支持主健约束

eachma=#select*frompg_foreign_table;#外部表
-[RECORD1]-------------------------------------
ftrelid|16579
ftserver|16577
ftoptions|{schema_name=public,table_name=orders}
eachma=#select*fromorders;
order_num|order_date|cust_id
-----------+------------+------------
20005|2012-05-01|1000000001
20006|2012-01-12|1000000003
20007|2012-01-30|1000000004
20008|2012-02-03|1000000005
20009|2012-02-08|1000000001
(5rows)

eachma=#\dt
Listofrelations
Schema|Name|Type|Owner
--------+------+-------+-------
public|tbl|table|pg5
(1row)

创建一个外部表物化视图:

eachma=#creatematerializedvieworder_viewasselect*fromorderswithnodata;
SELECT0
eachma=#select*fromorder_view;#没有刷新
ERROR:materializedview"order_view"hasnotbeenpopulated
HINT:UsetheREFRESHMATERIALIZEDVIEWcommand.
eachma=#refreshmaterializedvieworder_view;
REFRESHMATERIALIZEDVIEW
eachma=#select*fromorder_view;
order_num|order_date|cust_id
-----------+------------+------------
20005|2012-05-01|1000000001
20006|2012-01-12|1000000003
20007|2012-01-30|1000000004
20008|2012-02-03|1000000005
20009|2012-02-08|1000000001
(5rows)
eachma=#select*frompg_matviews;
-[RECORD1]+--------------------------
schemaname|public
matviewname|order_view
matviewowner|pg5
tablespace|
hasindexes|f
ispopulated|t
definition|SELECTorders.order_num,+
|orders.order_date,+
|orders.cust_id+
|FROMorders;

参考:http://www.postgresql.org/docs/9.5/static/postgres-fdw.html

postgresql资料:https://github.com/ty4z2008/Qix/blob/master/pg.md

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读601次。Oracle的数据导入导出是一项基本的技能,但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务,于是研究了一下Oracle的数据导入导出,在这里跟大家分享一下。......_oracle 迁移方法 对比
文章浏览阅读553次。开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。最近我们在使用MYSQL 8 的情况下(8.025)在数据库运行中出现一个问题 参数prefer_order_i..._mysql prefer_ordering_index
文章浏览阅读3.5k次,点赞3次,收藏7次。折腾了两个小时多才成功连上,在这分享一下我的经验,也仅仅是经验分享,有不足的地方欢迎大家在评论区补充交流。_navicat连接opengauss
文章浏览阅读2.7k次。JSON 代表 JavaScript Object Notation。它是一种开放标准格式,将数据组织成中详述的键/值对和数组。_postgresql json
文章浏览阅读2.9k次,点赞2次,收藏6次。navicat 连接postgresql 注:navicat老版本可能报错。1.在springboot中引入我们需要的依赖以及相应版本。用代码生成器生成代码后,即可进行增删改查(略)安装好postgresql 略。更改配置信息(注释中有)_mybatisplus postgresql
文章浏览阅读1.4k次。postgre进阶sql,包含分组排序、JSON解析、修改、删除、更新、强制踢出数据库所有使用用户、连表更新与删除、获取今年第一天、获取近12个月的年月、锁表处理、系统表使用(查询所有表和字段及注释、查询表占用空间)、指定数据库查找模式search_path、postgre备份及还原_pgsql分组取每组第一条
文章浏览阅读3.3k次。上一篇我们学习了日志清理,日志清理虽然解决了日志膨胀的问题,但就无法再恢复检查点之前的一致性状态。因此,我们还需要日志归档,pg的日志归档原理和Oracle类似,不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外,还需要保证wal_level不能是MINIMAL状态(因为该状态下有些操作不会记录日志)。在db启动时,会同时检查archive_mode和wal_level。以下代码也在postmaster.c(PostmasterMain函数)。......_postgresql archive_mode
文章浏览阅读3k次。系统:ubuntu22.04.3目的:利用向日葵实现windows远程控制ubuntu。_csdn局域网桌面控制ubuntu
文章浏览阅读1.6k次。表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。1,继承式分区,分为触发器(trigger)和规则(rule)两种方式触发器的方式1)创建表CREATE TABLE "public"."track_info_trigger_partition" ( "id" serial, "object_type" int2 NOT NULL DEFAULT 0, "object_name..._pg数据表分区的实现
文章浏览阅读3.3k次。物联网平台开源的有几个,就我晓得的有、、thingskit、JetLink、DG-iot(还有其他开源的,欢迎在评论区留言哦!),然后重点分析了下ThingsBoard、ThingsPanel和JetLink,ThingsBoard和Jetlinks是工程师思维产品,可以更多的通过配置去实现开发的目的,ThingsPanel是业务人员思路产品,或者开发或者用,避免了复杂的配置带来的较高学习门槛。ThingsBoard和Jetlinks是Java技术体系的,ThingsPanel是PHP开发的。_jetlinks和thingsboard
文章浏览阅读3.8k次。PostgreSQL 数据类型转换_pgsql数字转字符串
文章浏览阅读7k次,点赞3次,收藏14次。在做数据统计页面时,总会遇到统计某段时间内,每天、每月、每年的数据视图(柱状图、折线图等)。这些统计数据一眼看过去也简单呀,不就是按照时间周期(天、月、年)对统计数据进行分个组就完了嘛?但是会有一个问题,简单的写个sql对周期分组,获取到的统计数据是缺失的,即没有数据的那天,整条记录也都没有了。如下图需求:以当前月份(2023年2月)为起点,往后倒推一年,查询之前一年里每个月的统计数据。可见图中的数据其实是缺少的,这条sql只查询到了有数据的月份(23年的1月、2月,22年的12月)_如何用一条sql查出按年按月按天的汇总
文章浏览阅读3.8k次,点赞66次,收藏51次。PostgreSQL全球开发小组与2022年10月13日,宣布发布PostgreSQL15,这是世界上最先进的开源数据库的最新版本_mysql8 postgresql15
文章浏览阅读1.3k次。上文介绍了磁盘管理器中VFD的实现原理,本篇将从上层角度讲解磁盘管理器的工作细节。_smgrrelationdata
文章浏览阅读1.1k次。PostgreSQL设置中文语言界面和局域网访问_postgressql汉化
文章浏览阅读4.2k次。PostgreSQL 修改数据存储路径_如何设置postgresql 数据目录
文章浏览阅读4.7k次。在项目中用到了多数据源,在连接postgres数据库时,项目启动报错,说数据库连接错误,说dual不存在,网上好多教程都是说数据库查询的时候的大小写问题,而这个仅仅是连接,咋鞥却处理方法是修改application-dev.yml中的配置文件.项目中的druid参数是这样的:确实在配置文件中有个查询语句。_relation "dual" does not exist
文章浏览阅读4.9k次。PostgreSQL是一款强大的关系型数据库,但在实际使用过程中,许多用户经常会遇到慢SQL的问题。这些问题不仅会降低数据库性能,还会直接影响业务流程和用户体验。因此,本文将会深入分析PostgreSQL慢SQL的原因和优化方案,帮助用户更好地利用这个优秀的数据库系统。无论你是初学者还是专业开发者,本文都将为你提供实用的技巧和方法,让你的PostgreSQL数据库始终保持高效快速。_postgresql数据库优化
文章浏览阅读1.6k次。Linux配置postgresql开机自启_linux 启动pgsql
文章浏览阅读2k次。本篇介绍如何在centos7系统搭建一个postgresql主备集群实现最近的HA(高可用)架构。后续更高级的HA模式都是基于这个最基本的主备搭建。_postgresql主备