mycat学习-3 分库分表

 

1.切分简介

分库分表是对数据的拆分,有水平拆分和垂直拆分两种。

水平切分是根据表中数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库服务器上面,为横向切分;

垂直切分是一种按照不同的表切分到不同的数据库上,垂直切分一般是按照业务维度进行数据库表的切分;把相同类型的表放在一个数据库,另一些表放在另一个数据库;也就是不同的维度不同的表,把表分散到各个数据库中;

垂直拆分用的比较多;

垂直切分的方法中有一种小的形式是 例如一个表需要有80个字段 基于字段太多可以将本表拆分为两个表 base表是20个字段 ext扩展表是60字段 两个表通过id相关联;

mycat中间代理层规避了多数据源的问题 对应用完全透明,对于切分后存在的问题也做了解决方案;

2.mycat实现水平切分配置

 server.xml 和schema.xml和rule.xml,其中rule.xml未曾变动 server.xml参照上次读写分离的配置,修改的是schema.xml文件:

server.xml文件中配置如下内容:将mycatdb2修改为mycatdb3

 

只是分库分表的配置:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--
schema用户配置逻辑数据库 实现分库分表,schema下配置table
需求: order表数据量太大,1000w条数据,需要水平切分,原来表在test01数据库
现在切到test01、test02、test03这3个数据库
dataNode属性配置的意思是这个order表在3个数据库上
rule 是切分规则一般用 mod-long是取模的配置 在rule.xml文件中指定
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm> 有对应的算法
</rule>
</tableRule>
对应的算法如下
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">

<property name="count">3</property> 切分到几个库就写几
</function>
主键取模的规则 例如id=1 数据库有3个 那么1%3=1到test02数据库 id=2 2%3=3到test03数据库 id=3 3%3=0到test01数据库
最终的配置如下:
<schema name="mycatdb3" checkSQLschema="false" sqlMaxLimit="100" >
<table name="order" primaryKey="id" dataNode="dn1,dn2,dn3" rule="mod-long"/>
</schema>
<!--
配置datanode,datanode定义了mycat中的数据节点<定义真实的物理数据库>,也就是我们通常说的数据分片,一个datanode
标签就是一个独立的数据分片,通俗理解,一个分片就是一个物理数据库database就是
实际的数据库名称;
<dataNode name="dn1" dataHost="localhost1" database="test01" />
配置说明:
name:定义数据节点的名称,这个名称需要是唯一的,这个名称在schema里面会使用到;
dataHost:用于定义该分片属于哪个数据库实例的,属性值是引用dataHost标签上定义的name属性
database:用于对应真实的数据库名,必须是真实存在的;
最终配置如下:
-->
<dataNode name="dn1" dataHost="localhost" database="test01"></dataNode>
<dataNode name="dn2" dataHost="localhost" database="test02"></dataNode>
<dataNode name="dn3" dataHost="localhost" database="test03"></dataNode>

<!--
配置dataHost 定义具体的数据库实例、读写分离配置和心跳语句
<dataHost name="localhost1" 名称上面使用
maxCon="1000" 最大连接数
minCon="1"
balance="1" 负载均衡(改成1代表开启读写分离模式)目前的取值有4种:
0:不开启读写分离机制,所有读操作都发送到当前可用的writeHost上
1:全部的readHost与stand by writeHost<既是主又是从以下是3307和3308>参与select语句的负载均衡,简单的说就是当双主双从模式(M1->S1,M2->S2,并且M1与M2互为主备)正常情况下,当M1是写的时候,M2,S1,S2都参与
2:所有读操作都随机的在writeHost、readHost上分发
3:所有读请求随机的分发到writeHost对应的readHost执行,writeHost不负担读压力
推荐balance设置为1
dbType="mysql" 数据库类型
dbDriver="native" 数据库驱动 native代表本地驱动
switchType="1" 故障切换
-1表示不自动切换
1默认值 自动切换 心跳语句为 select user() 使用的比较多
2基于mysql主从同步的状态决定是否切换 心跳语句为 show slave status
3基于mysql galary cluster模式的切换机制(适合集群) 心跳语句 show status like 'wsrep%'
通常使用1自动切换,因为双主双从的模式2 3 比较复杂不适用
slaveThreshold="100"> 读写分离从服务器的最大个数

<heartbeat>select user()</heartbeat>心跳语句 mycat每隔一段时间会给mysql发送一条命令 检测mysql是否有响应 是否正常
writeHost 配置写数据库(主库),有几个主库就配置几个writeHost
<writeHost host="hostM3307" url="localhost:3307" user="root" password="111111">
配置读数据库(从库)
<readHost host="hosts3308" url="localhost:3308" user="root" password="111111">
<readHost host="hosts3309" url="localhost:3309" user="root" password="111111">
</writeHost>
<writeHost host="hostM3308" url="localhost:3308" user="root" password="111111">
配置读数据库(从库)
<readHost host="hosts3307" url="localhost:3307" user="root" password="111111">
<readHost host="hosts3310" url="localhost:3310" user="root" password="111111">
</writeHost>
</dataHost>
-->
<dataHost name="localhost"
maxCon="1000"
minCon="1"
balance="1"
dbType="mysql"
dbDriver="native"
switchType="1"
slaveThreshold="100">

<heartbeat>select user()</heartbeat>
<!--配置写数据库(主库),有几个主库就配置几个writeHost -->
<writeHost host="hostM3308" url="localhost:3308" user="root" password="">
<!--配置读数据库(从库)-->
<readHost host="hosts3309" url="localhost:3309" user="root" password=""/>
<readHost host="hosts3310" url="localhost:3310" user="root" password=""/>
</writeHost>
</dataHost>
</mycat:schema>

------------------------------------------------------------------------------------------------------------------------------------------

分库分表+读写分离

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--
schema用户配置逻辑数据库 实现分库分表,schema下配置table
需求: order表数据量太大,1000w条数据,需要水平切分,原来表在test01数据库
现在切到test01、test02、test03这3个数据库
dataNode属性配置的意思是这个order表在3个数据库上
rule 是切分规则一般用 mod-long是取模的配置 在rule.xml文件中指定
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm> 有对应的算法
</rule>
</tableRule>
对应的算法如下
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">

<property name="count">3</property> 切分到几个库就写几
</function>
主键取模的规则 例如id=1 数据库有3个 那么1%3=1到test02数据库 id=2 2%3=3到test03数据库 id=3 3%3=0到test01数据库
最终的配置如下:
<schema name="mycatdb3" checkSQLschema="false" sqlMaxLimit="100" >
<table name="order" primaryKey="id" dataNode="dn1,dn2,dn3" rule="mod-long"/>
</schema>
<!--
配置datanode,datanode定义了mycat中的数据节点<定义真实的物理数据库>,也就是我们通常说的数据分片,一个datanode
标签就是一个独立的数据分片,通俗理解,一个分片就是一个物理数据库database就是
实际的数据库名称;
<dataNode name="dn1" dataHost="localhost1" database="test01" />
配置说明:
name:定义数据节点的名称,这个名称需要是唯一的,这个名称在schema里面会使用到;
dataHost:用于定义该分片属于哪个数据库实例的,属性值是引用dataHost标签上定义的name属性
database:用于对应真实的数据库名,必须是真实存在的;
最终配置如下:
如果不想在分库分表的基础上不实现读写分离
3308建立数据库test01
-->
<dataNode name="dn1" dataHost="localhost1" database="test01"></dataNode>
<dataNode name="dn2" dataHost="localhost2" database="test02"></dataNode>
<dataNode name="dn3" dataHost="localhost3" database="test03"></dataNode>

<!--
配置dataHost 定义具体的数据库实例、读写分离配置和心跳语句
<dataHost name="localhost1" 名称上面使用
maxCon="1000" 最大连接数
minCon="1"
balance="1" 负载均衡(改成1代表开启读写分离模式)目前的取值有4种:
0:不开启读写分离机制,所有读操作都发送到当前可用的writeHost上
1:全部的readHost与stand by writeHost<既是主又是从以下是3307和3308>参与select语句的负载均衡,简单的说就是当双主双从模式(M1->S1,M2->S2,并且M1与M2互为主备)正常情况下,当M1是写的时候,M2,S1,S2都参与
2:所有读操作都随机的在writeHost、readHost上分发
3:所有读请求随机的分发到writeHost对应的readHost执行,writeHost不负担读压力
推荐balance设置为1
dbType="mysql" 数据库类型
dbDriver="native" 数据库驱动 native代表本地驱动
switchType="1" 故障切换
-1表示不自动切换
1默认值 自动切换 心跳语句为 select user() 使用的比较多
2基于mysql主从同步的状态决定是否切换 心跳语句为 show slave status
3基于mysql galary cluster模式的切换机制(适合集群) 心跳语句 show status like 'wsrep%'
通常使用1自动切换,因为双主双从的模式2 3 比较复杂不适用
slaveThreshold="100"> 读写分离从服务器的最大个数

<heartbeat>select user()</heartbeat>心跳语句 mycat每隔一段时间会给mysql发送一条命令 检测mysql是否有响应 是否正常
writeHost 配置写数据库(主库),有几个主库就配置几个writeHost
<writeHost host="hostM3307" url="localhost:3307" user="root" password="111111">
配置读数据库(从库)
<readHost host="hosts3308" url="localhost:3308" user="root" password="111111">
<readHost host="hosts3309" url="localhost:3309" user="root" password="111111">
</writeHost>
<writeHost host="hostM3308" url="localhost:3308" user="root" password="111111">
配置读数据库(从库)
<readHost host="hosts3307" url="localhost:3307" user="root" password="111111">
<readHost host="hosts3310" url="localhost:3310" user="root" password="111111">
</writeHost>
</dataHost>
-->
<dataHost name="localhost1"
maxCon="1000"
minCon="1"
balance="1"
dbType="mysql"
dbDriver="native"
switchType="1"
slaveThreshold="100">

<heartbeat>select user()</heartbeat>
<!--配置写数据库(主库),有几个主库就配置几个writeHost -->
<writeHost host="hostM3308" url="localhost:3308" user="root" password="">
</writeHost>
</dataHost>
<dataHost name="localhost2"
maxCon="1000"
minCon="1"
balance="1"
dbType="mysql"
dbDriver="native"
switchType="1"
slaveThreshold="100">

<heartbeat>select user()</heartbeat>
<!--配置写数据库(主库),有几个主库就配置几个writeHost -->
<writeHost host="hostM3309" url="localhost:3309" user="root" password="">
</writeHost>
</dataHost>
<dataHost name="localhost3"
maxCon="1000"
minCon="1"
balance="1"
dbType="mysql"
dbDriver="native"
switchType="1"
slaveThreshold="100">

<heartbeat>select user()</heartbeat>
<!--配置写数据库(主库),有几个主库就配置几个writeHost -->
<writeHost host="hostM3310" url="localhost:3310" user="root" password="">
</writeHost>
</dataHost>
</mycat:schema>

 水平切分测试验证:

3308上创建test01、test02和test03 3个数据库,据说此处3309和3310可以同步的3个数据库的,但是并不知道是否需要主从的某些同步配置,本处手工在3309和3310中创建了对应的3个数据库才启动startup_nowrap.bat成功;

<!--注:经过查询资料发现mycat并不负责mysql的主从同步问题,这是负责读写分离,所以此处如果想数据同步的话则应该在前两篇文章mysql的主从配置中的mysql的基础上做修改https://www.cnblogs.com/healthinfo/p/10375322.html-->

在test01中创建表orders必须有id字段因为是id取模规则,不用自动递增。

修改3308,3309,3310为mysql的主从同步配置

 

原文地址:https://www.cnblogs.com/healthinfo/p/10392581.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Mycat是什么?MyCat是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一
转自:https://www.cnblogs.com/ivictor/p/5111495.html参考:https://www.cnblogs.com/damumu/p/7320258.htmlMyCAT是mysql中间件,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显。这篇文章主要是MyCAT的入门部署
1.在数据库做好主从同步的情况下搭建mycat。下载mycat,解压。修改server.xml文件,修改schema.xml待完善启动mycat。参考文章:https://blog.csdn.net/yelllowcong/article/details/79063546https://www.cnblogs.com/NingKangMing/p/6143834.html
集群的服务器列表在10.11.0.210和10.11.0.216中部署mycat和haproxy(因为实验机器性能有限,实际生产环境中需要单独用服务做haproxy反向代理) 两台机器的Mycat配置和haproxy保持一致即haproxyàmycatàpxc集群àmysql分片 Mycat的相关配置Server.xml[root@node6
Mycat是什么?·一个彻底开源的,面向企业应用开发的大数据库集群·支持事务、ACID、可以替代MySQL的加强版数据库·一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群·一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer·结合传统数据库和新型分布式数
<system>配置Mycat系统参数 <system>  <propertyname="serverPort">3306</property><!--mycat服务端口-->  <propertyname="managerPort">9066</property><!--mycat管理端口-->  <propertyname=&q
数据库中间件:mycat逻辑库:即mycat服务上的数据库,并非实际mysql服务上的数据库。逻辑表:与逻辑库同理。数据节点:是mycat逻辑表与mysql物理表的对应关系,mycat服务上某个库中的某个表的数据可能是由不同mysql服务器上数据库中表的数据组成。具体哪个逻辑表对应mysql的哪个实际
MyCat的官方网站:http://www.mycat.org.cn/下载地址:https://github.com/MyCATApache/Mycat-download第一步:下载wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 并解压Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
show@@sql;Emptyset(0.01sec)一直查不出数据查看在Mycat中执行过的SQL语句,需要确认server.xml配置文件中的<propertyname="useSqlStat">1</property>刚开始一直出不来数据,最后发现是没开启的原因。。。。。。1. 连接mycat9066管理端口   mysql-h127.0.0.1-
Mysql分布式集群部署mycat分库分表系列(共三套)系列一:《分布式集群+分库分表实战教程》本套课程将通过分布式集群和分库分表两部分内容进行讲解1、主要解决针对大型网站架构中持久化部分中,大量数据存储以及高并发访问所带来是数据读写问题。分布式是将一个业务拆分为多个子业务
1、下载系统安装包选择相应的版本进行下载,地址:http://dl.mycat.io/ 。Mycat数据库分库分表中间件介绍 http://www.mycat.io/2、安装安装mycat前需要保证系统已安装过jdk和mysql,将下载好的mycat安装包解压到某个目录下,然后进入mycat解压目录下的bin目录(打开cmd控制台确保是以管
原文:学会数据库读写分离、分表分库https://www.cnblogs.com/joylee/p/7513038.html系统开发中,数据库是非常重要的一个点。除了程序的本身的优化,如:SQL语句优化、代码优化,数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat
MyCAT是mysql中间件,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显。这篇文章主要是MyCAT的入门部署。  随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应
MyCat安装配置学习1.下载安装tar解压(不多说)2.MyCat命令./mycatstart启动./mycatstop停止./mycatrestart重启配置server.xml添加用户设置配置schema.xml
1.Mycat入门官网http://www.mycat.io/1.1.什么是Mycat一个彻底开源的,面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL
因为51博客写作格式问题,以后文档都以有道文档连接为主,已整理到有道云笔记,目前笔记有云计算运维大数据运维,应用运维,DBA,测试,小白想学的可以加我qq:936172842,,请注明51学友,无备注一律不加,http:/ote.youdao.comoteshare?id=935db6cec339054c82d8b3f6ac343fa0⊂=DBB78851CCCF486EB26B
MyCat简介前面文章我们提到,如果数据量比较大的话,我们需要对数据进行分库分表,分完之后,原本存在一个数据库中的数据,现在就存在多个数据库中了,就像下面这样:  那么此时MyCat所扮演的角色就是分布式数据库中间件!MyCat是一个开源的分布式数据库中间件,它实现了MySQL协议,在开发
一、自定义类加载器在复杂类情况下的运行分析1、使用之前创建的类加载器publicclassMyTest16extendsClassLoader{privateStringclassName;//目录privateStringpath;privatefinalStringfileExtension=".class";publicMyTest16(Stringclass
mycat是一个中间层mycat不存储任何数据,所有数据存储在mysql中mycat对于开发人员来说就是mysql,但mycat不能支持所有mysql语句mycat可以实现对后端数据库的分库分表和读写分离、负载均衡mycat对前端应用隐藏了后端数据库的存储逻辑(比如对后端数据读写分离,如果在程序中实现,则每一个使
下载:https://github.com/MyCATApache/Mycat-download安装:直接解压运行命令:linux:   ./mycatstart启动   ./mycatstop停止   ./mycatconsole前台运行   ./mycatrestart重启服务   ./mycatpause暂停   ./mycatstatus查看启动状态windows: