关系型数据库－MySQL进阶三数据分片

分类：mycat作者：编程之家用户

数据分片
相关概念

分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．

垂直分割
纵向切分：按业务类型

什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。

服务器
Taobaodb　　a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f

水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 －指定字段分片．取余数０１２３

Mycat 基于java　的分布式数据库系统中间件　－为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源

分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash

mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur

.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端

环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/　　　－此处和tomcat装包一样
ls /usr/local/

２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml　mycat 配置文件
（1）Server.xml　　 用户名\密码\逻辑库名（information schema ）　
（2）Schema.xml 　配置数据分片
（3）Rule.xml 分片规则
（4）*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容

（１）　server .xml (默认不动)配置mycat 服务
＜user＞

（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/

vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml

Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点


指定主机名ip地址　（用户名密码）


select user()


(3)Rule.xml
分片规则

3配置数据库服务器

（１）创建存储数据的库＼
　53 :Db1 54:db2 55:db3

（２）授权mycat 连接用用户admin

4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|

Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java

5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews

二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)

1
枚举法
字段值必须在列举范围内选择
Schama.xml

－枚举法规则

Rule.xml
<function name=“hash-int”　－枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt　－修改算法规则

Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2

(1)根据sharding-by-intfile建表
(2)Use testdb

mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );

51 desc db1.employee;
52 desc db2.employee
53desc db3.employee

插入内容字段

insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果

Select * from db1.employee
Select * from db2.employee
Select * from db3.employee

求模法 mod-long
根据字段值与设定的数字求模结果存储数据

schema.xml

客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３　５４　５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

不分片
schema.xml

create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )

insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

1加新库
Server.xml

123456 TESTDB,GAMEDB

２加新表
Schema.xml

３重启

/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);

select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+

５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |

原文地址：https://blog.csdn.net/weixin_44985068/article/details/97099691

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

5分钟带你快速了解Mycat是什么？Mycat原理讲解教程
Mycat是什么？MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一
MyCat数据库中间件入门
转自：https://www.cnblogs.com/ivictor/p/5111495.html参考：https://www.cnblogs.com/damumu/p/7320258.htmlMyCAT是mysql中间件，前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之。于是MyCAT扛起了这面大旗，在大数据时代，其重要性愈发彰显。这篇文章主要是MyCAT的入门部署
mycat 的基本搭建
1.在数据库做好主从同步的情况下搭建mycat。下载mycat，解压。修改server.xml文件，修改schema.xml待完善启动mycat。参考文章：https://blog.csdn.net/yelllowcong/article/details/79063546https://www.cnblogs.com/NingKangMing/p/6143834.html
06mycat使用haproxy进行负载均衡
集群的服务器列表在10.11.0.210和10.11.0.216中部署mycat和haproxy(因为实验机器性能有限，实际生产环境中需要单独用服务做haproxy反向代理) 两台机器的Mycat配置和haproxy保持一致即haproxyàmycatàpxc集群àmysql分片 Mycat的相关配置Server.xml[root@node6
详解Mycat核心概念和名词
Mycat是什么？·一个彻底开源的，面向企业应用开发的大数据库集群·支持事务、ACID、可以替代MySQL的加强版数据库·一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群·一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer·结合传统数据库和新型分布式数
Mycat配置文件server.xml，常用参数说明
<system>配置Mycat系统参数 <system>  <propertyname="serverPort">3306</property><!--mycat服务端口-->  <propertyname="managerPort">9066</property><!--mycat管理端口-->  <propertyname=&q
数据库中间件mycat配置
数据库中间件：mycat逻辑库：即mycat服务上的数据库，并非实际mysql服务上的数据库。逻辑表：与逻辑库同理。数据节点：是mycat逻辑表与mysql物理表的对应关系，mycat服务上某个库中的某个表的数据可能是由不同mysql服务器上数据库中表的数据组成。具体哪个逻辑表对应mysql的哪个实际
MyCat安装及启动
MyCat的官方网站：http://www.mycat.org.cn/下载地址：https://github.com/MyCATApache/Mycat-download第一步：下载wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 并解压Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
MyCat 9066管理端口常用命令
show@@sql;Emptyset(0.01sec)一直查不出数据查看在Mycat中执行过的SQL语句，需要确认server.xml配置文件中的<propertyname="useSqlStat">1</property>刚开始一直出不来数据，最后发现是没开启的原因。。。。。。1. 连接mycat9066管理端口   mysql-h127.0.0.1-
mysql大型分布式集群 mysql分布式部署 Mycat分库分表 mycat读写分离 MySQL集群与优化 高可用数据架构 mysql分布式事务教程
Mysql分布式集群部署mycat分库分表系列（共三套）系列一：《分布式集群+分库分表实战教程》本套课程将通过分布式集群和分库分表两部分内容进行讲解1、主要解决针对大型网站架构中持久化部分中，大量数据存储以及高并发访问所带来是数据读写问题。分布式是将一个业务拆分为多个子业务
windows安装Mycat
1、下载系统安装包选择相应的版本进行下载，地址：http://dl.mycat.io/ 。Mycat数据库分库分表中间件介绍 http://www.mycat.io/2、安装安装mycat前需要保证系统已安装过jdk和mysql，将下载好的mycat安装包解压到某个目录下，然后进入mycat解压目录下的bin目录（打开cmd控制台确保是以管
学会数据库读写分离、分表分库
原文:学会数据库读写分离、分表分库https://www.cnblogs.com/joylee/p/7513038.html系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat
MyCAT简易入门
MyCAT是mysql中间件，前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之。于是MyCAT扛起了这面大旗，在大数据时代，其重要性愈发彰显。这篇文章主要是MyCAT的入门部署。  随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应
MyCat 安装配置学习
MyCat安装配置学习1.下载安装tar解压(不多说)2.MyCat命令./mycatstart启动./mycatstop停止./mycatrestart重启配置server.xml添加用户设置配置schema.xml
Mycat入门
1.Mycat入门官网http://www.mycat.io/1.1.什么是Mycat一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL
mycat自学整理入门
因为51博客写作格式问题，以后文档都以有道文档连接为主，已整理到有道云笔记，目前笔记有云计算运维大数据运维，应用运维，DBA，测试，小白想学的可以加我qq：936172842,，请注明51学友，无备注一律不加，http:/ote.youdao.comoteshare?id=935db6cec339054c82d8b3f6ac343fa0⊂=DBB78851CCCF486EB26B
分布式数据库中间件 MyCat
MyCat简介前面文章我们提到，如果数据量比较大的话，我们需要对数据进行分库分表，分完之后，原本存在一个数据库中的数据，现在就存在多个数据库中了，就像下面这样：  那么此时MyCat所扮演的角色就是分布式数据库中间件！MyCat是一个开源的分布式数据库中间件，它实现了MySQL协议，在开发
JVM 自定义类加载器在复杂类情况下的运行分析
一、自定义类加载器在复杂类情况下的运行分析1、使用之前创建的类加载器publicclassMyTest16extendsClassLoader{privateStringclassName;//目录privateStringpath;privatefinalStringfileExtension=".class";publicMyTest16(Stringclass
mycat的安装和入门
mycat是一个中间层mycat不存储任何数据，所有数据存储在mysql中mycat对于开发人员来说就是mysql，但mycat不能支持所有mysql语句mycat可以实现对后端数据库的分库分表和读写分离、负载均衡mycat对前端应用隐藏了后端数据库的存储逻辑（比如对后端数据读写分离，如果在程序中实现，则每一个使
mycat入门安装及demo实现
下载：https://github.com/MyCATApache/Mycat-download安装：直接解压运行命令：linux：   ./mycatstart启动   ./mycatstop停止   ./mycatconsole前台运行   ./mycatrestart重启服务   ./mycatpause暂停   ./mycatstatus查看启动状态windows：
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot