一、Mycat分片路由原理

我们先来看下面的一个SQL在Mycat里面是如何执行的：

travelrecord id (,);

有3个分片dn1,dn2,dn3,id=5000001

查询时可能有出现的问题：

dn1 dn2 dn3

2）只扫描某个片。漏掉数据的情况。

那么Mycat是如何解决上面的问题的呢？

Mycat解析的过程主要有Visitor和Statement两个阶段

1）Visitor过程，解析出如下属性：

　　　　　　　　　　　　　　哪一张表

　　　　　　　　　　　　　　字段列表

　　　　　　　　　　　　　　条件信息

　　　　　　　　　　　　　　什么样的SQL

通过查询条件可以知道要查询的数据都在哪些分片上

travelrecord id travelrecord id ；（dn3执行）

4）分别在分片dn2，dn3上执行第 3）步改写的SQL，然后把从dn2，dn3上得到的结果进行拼装就是最终的结果了

visitor

确定分片的过程：首先看where

二、Mycat常用分片规则

1. 时间类：按天分片、自然月分片、单月小时分片

2. 哈希类：Hash固定分片、日期范围Hash分片、截取数字Hash求模范围分片、截取数字Hash分片、一致性Hash分片

3. 取模类：取模分片、取模范围分片、范围求模分片

4. 其他类：枚举分片、范围约定分片、应用指定分片、冷热数据分片

下面基于源码来介绍Mycat的常用分片规则，

三、Mycat常用分片规则介绍

分片规则都定义在rule.xml文件里面

id func1 1,1,2,3,1 128,128,128

1. 自动范围分片

在rule.xml里面的配置：

id rang-long

<function name="rang-long"
class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
</function>

说明：

有3个分片，第1个分片存储的是1-500000的数据，第2个分片存储的是500001-1000000的数据，第3个分片存储的是1000001-1500000的数据

insert into employee(id,name) value(1,Tom);在第1个分片

insert into employee(id,name) value(500002,Jack);在第2个分片

insert into employee(id,name) value(1000002,Lucy);在第3个分片

对应代码：

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashSet;
import java.util.LinkedList;
import java.util.Set;

import io.mycat.config.model.rule.RuleAlgorithm;

/**

auto partition by Long,can be used in auto increment primary key partition
@author wuzhi
*/
public class AutoPartitionByLong extends AbstractPartitionAlgorithm implements RuleAlgorithm{

private String mapFile;
private LongRange[] longRongs;

private int defaultNode = -1;
@Override
public void init() {
```
 initialize();
```
}

public void setMapFile(String mapFile) {
this.mapFile = mapFile;
}

@Override
public Integer calculate(String columnValue) {
// columnValue = NumberParseUtil.eliminateQoute(columnValue);
try {
long value = Long.parseLong(columnValue);
Integer rst = null;
for (LongRange longRang : this.longRongs) {
if (value <= longRang.valueEnd && value >= longRang.valueStart) {
return longRang.nodeIndx;
}
}
//数据超过范围，暂时使用配置的默认节点
if (rst == null && defaultNode >= 0) {
return defaultNode;
}
return rst;
} catch (NumberFormatException e){
throw new IllegalArgumentException(new StringBuilder().append("columnValue:").append(columnValue).append(" Please eliminate any quote and non number within it.").toString(),e);
}
}

@Override
public Integer[] calculateRange(String beginValue,String endValue) {
return AbstractPartitionAlgorithm.calculateSequenceRange(this,beginValue,endValue);
}

@Override
public int getPartitionNum() {
// int nPartition = longRongs.length;
```
 <Integer> distNodeIdxSet = HashSet<Integer> nPartition =private void initialize() {
BufferedReader in = null;
try {
// FileInputStream fin = new FileInputStream(new File(fileMapPath));
InputStream fin = this.getClass().getClassLoader()
.getResourceAsStream(mapFile);
if (fin == null) {
throw new RuntimeException("can't find class resource file "
+ mapFile);
}
in = new BufferedReader(new InputStreamReader(fin));
LinkedList longRangeList = new LinkedList();
```
 (String line = ; (line = in.readLine()) != = (line.startsWith("#") || line.startsWith("//" ind = line.indexOf('=' (ind < 0" warn: bad line int " + mapFile + " :"
 += line.substring(0,ind).trim().split("-" longStart = NumberParseUtil.parseLong(pairs[0 longEnd = NumberParseUtil.parseLong(pairs[1 nodeId = Integer.parseInt(line.substring(ind + 1= longRangeList.toArray( (e public int getDefaultNode() {
return defaultNode;
}

public void setDefaultNode(int defaultNode) {
this.defaultNode = defaultNode;
}

static class LongRange {
public final int nodeIndx;
public final long valueStart;
public final long valueEnd;
```
 LongRange( nodeIndx, valueStart,.nodeIndx =.valueStart =.valueEnd =<span style="color: #000000"&gt; valueEnd;
 }
```
}
}

Mysql系列六：Mycat分片路由原理、Mycat常用分片规则及对应源码介绍

一、Mycat分片路由原理

二、Mycat常用分片规则

三、Mycat常用分片规则介绍

1. 自动范围分片

2. 枚举分片

3. Hash固定分片（固定分片Hash算法）

4. 求模分片

5. 自然月分片

6. 匹配求模分片

7. 冷热数据分片

8. 一致性哈希分片

相关推荐