SpringCloud下结合shardingSphere进行分库分表(实现ShardingAlgorithm)

分类：Spring Cloud作者：编程之家用户

通过ShardingAlgorithm的实现，可以进一步发现分片策略的灵活和强大；可以实现一致性hash算法、按时间分片算法、以及mod算法等；

更进一步，可以对同一个表按业务需求实现不同的分片算法，比如原来按年分片的业务表，比如随着业务量的扩展，需要提高分片频率，

可是又不想进行大量历史数据迁移，可以在某一时刻开始按月或者按日分片；当然前提是要维护一个相对复杂的分片算法；

下面展示一个自定义分片算法原型，留作业务扩展；

 

业务模型和上一篇的inline表达式一样，下面进行核心代码说明：

1）核心pom文件内容

复制代码

 
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.10</version>
        </dependency>
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

复制代码

 

2）核心yml内容：

复制代码

 
sharding:
  jdbc:
    datasource:
      names: master0,master0salve0,master0slave1,master1,master1slave0,master1slave1
      master0:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding0?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
      master0salve0:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding0s0?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
      master0slave1:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding0s1?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
      master1:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding1?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
      master1slave0:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding1s0?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
      master1slave1:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://localhost:3306/mcspcsharding1s1?useUnicode=true&character_set_server=utf8mb4&useSSL=false&serverTimezone=GMT%2B8
        username: root
        password: root
    config:
      sharding:
        tables:
          mc_member:
            actual-nodes: mcspcsharding$->{0..1}.mc_member$->{0..1}
            database-strategy:
              standard:
                sharding-column: gender
                precise-algorithm-class-name: com.chong.mcspcshardingdbtable.sharding.DbShardingAlgorithm
            table-strategy:
              complex:
                sharding-columns: id
                algorithm-class-name: com.chong.mcspcshardingdbtable.sharding.MemberTblComplexKeySharding
        binding-tables: mc_member  # 多个时逗号隔开
        broadcast-tables: mc_master
        master-slave-rules:
          ms0:
            master-data-source-name: master0
            slave-data-source-names: master0salve0,master0slave1
          ms1:
            master-data-source-name: master1
            slave-data-source-names: master1slave0,master1slave1
      props:
        sql:
          show: true

复制代码

 

3）database数据源的sharding算法，实现了PreciseShardingAlgorithm

 

复制代码

 
package com.chong.mcspcshardingdbtable.sharding;

import io.shardingsphere.api.algorithm.sharding.PreciseShardingValue;
import io.shardingsphere.api.algorithm.sharding.standard.PreciseShardingAlgorithm;
import org.springframework.stereotype.Component;

import java.util.Collection;

@Component
public class DbShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Integer> preciseShardingValue) {

        Integer index = preciseShardingValue.getValue() % 2;
        for (String dataSourceName : collection) {
            if (dataSourceName.endsWith(index + "")) {
                return dataSourceName;
            }
        }
        throw new UnsupportedOperationException();
    }
}

复制代码

 

 

4）table的sharding算法，实现了ComplexKeysShardingAlgorithm

复制代码

 
package com.chong.mcspcshardingdbtable.sharding;

import com.google.common.collect.Range;
import io.shardingsphere.api.algorithm.sharding.ListShardingValue;
import io.shardingsphere.api.algorithm.sharding.PreciseShardingValue;
import io.shardingsphere.api.algorithm.sharding.RangeShardingValue;
import io.shardingsphere.api.algorithm.sharding.ShardingValue;
import io.shardingsphere.api.algorithm.sharding.complex.ComplexKeysShardingAlgorithm;
import org.springframework.stereotype.Component;

import java.util.ArrayList;
import java.util.Collection;
import java.util.List;

/**
 * 通过复合分片键进行演示，覆盖Precise，Range，List三种类型的ShardingValue。
 * 项目中应根据实际情况实现：
 * 1精确分片PreciseShardingAlgorithm、
 * 2范围分片RangeShardingAlgorithm
 * 3复合分片ComplexKeysShardingAlgorithm
 * 4非SQL解析分片HintShardingAlgorithm
 */
@Component
public class MemberTblComplexKeySharding implements ComplexKeysShardingAlgorithm {

    private static String shardingColumn1 = "id"; // todo: 业务扩展 shardingcolumn2...n
    private static String targetLogicTable = "mc_member";

    @Override
    public Collection<String> doSharding(Collection<String> logicTables, Collection<ShardingValue> shardingValues) {
        // 当设置多个shardingcolumn时，重写下面逻辑，根据shardingValues参数和实际分表业务规则计算出实际的actualTable
        List<Long> ids = new ArrayList<>(); // todo: 业务扩展 sharding-cloumn-parame-value-List2...n
        ShardingValue shardingValue = getShardingValue(shardingValues, shardingColumn1); // todo: 业务扩展 shardingValue2..n
        if (shardingValue instanceof PreciseShardingValue) {
            PreciseShardingValue<Long> preciseShardingValue = (PreciseShardingValue<Long>) shardingValue;
            Long id = preciseShardingValue.getValue();
            ids.add(id);
        } else if (shardingValue instanceof RangeShardingValue) {
            RangeShardingValue<Long> rangeShardingValue = (RangeShardingValue<Long>) shardingValue;
            Range<Long> range = rangeShardingValue.getValueRange();
            for (Long index = range.lowerEndpoint(); index <= range.upperEndpoint(); index++) {
                ids.add(index);
            }
        } else if (shardingValue instanceof ListShardingValue) {
            ListShardingValue<Long> listShardingValue = (ListShardingValue<Long>) shardingValue;
            ids.addAll(listShardingValue.getValues());
        }
        return getActualTables(logicTables, ids, targetLogicTable);  // todo:业务扩展 传参 sharding-cloumn-parame-value-List2...n
    }

    /**
     * 根据sql语句中的id值，和logicTable进行拼接，获取实际要查询的表.
     * 实际业务中遇到多个分片列时，除了ids还需要考虑其他key值，合并计算对逻辑表进行组装
     */
    private List<String> getActualTables(Collection<String> logicTables, List<Long> ids, String targetLogicTable) {
        List<String> actualTables = new ArrayList<>();
        if (logicTables.contains(targetLogicTable)) {
            for (Long id : ids) {
                // 作为演示，仅对id%2作为表后缀的匹配规则，今后应根据实际情况重置分片列和匹配规则。
                String actualTableName = targetLogicTable + id%2;
                if(!actualTables.contains(actualTableName)) {
                    actualTables.add(targetLogicTable + (id % 2));
                }
            }
        }
        if (actualTables.size() == 0) {
            throw new UnsupportedOperationException();
        }
        return actualTables;
    }

    /**
     * 根据预知的分拆列获取到对应的shardingvalue对象
     */
    private ShardingValue getShardingValue(Collection<ShardingValue> shardingValues, String column) {
        for (ShardingValue sv : shardingValues) {
            if (sv.getColumnName().equals(column)) {
                return sv;
            }
        }
        throw new UnsupportedOperationException();
    }
}

复制代码

 

5）启动类

复制代码

 
package com.chong.mcspcshardingdbtable;

import com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.transaction.annotation.EnableTransactionManagement;

@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class})
@EnableDiscoveryClient
@EnableTransactionManagement
@ComponentScan(basePackages = {"com.chong.common","com.chong.mcspcshardingdbtable"})
public class McSpcShardingDbTableApplication {

    public static void main(String[] args) {
        SpringApplication.run(McSpcShardingDbTableApplication.class, args);
    }

}

复制代码

 

原文地址：https://www.cnblogs.com/huangwentian/p/14517739.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

多图|一文详解Nacos参数！
Nacos 中的参数有很多，如：命名空间、分组名、服务名、保护阈值、服务路由类型、临时实例等，那这些参数都是什么意思？又该如何设置？接下来我们一起来盘它。 1.命名空间 在 Nacos 中通过命名空间（Namespace）+ 分组（Group）+服务名（Name）可以定位到一个唯一的服务实例。 命名
Nacos+OpenFegin正确调用服务的姿势！
Nacos 支持两种 HTTP 服务请求，一个是 REST Template，另一个是 Feign Client。之前的文章咱们介绍过 Rest Template 的调用方式，主要是通过 Ribbon（负载均衡） + RestTemplate 实现 HTTP 服务调用的，请求的核心代码是这样的： @
Spring Cloud Alibaba Nacos 服务注册与发现功能实现！
Nacos 是 Spring Cloud Alibaba 中一个重要的组成部分，它提供了两个重要的功能：服务注册与发现和统一的配置中心功能。 服务注册与发现功能解决了微服务集群中，调用者和服务提供者连接管理和请求转发的功能，让程序的开发者无需过多的关注服务提供者的稳定性和健康程度以及调用地址，因为这
快速搭建 SpringCloud Alibaba Nacos 配置中心！
Spring Cloud Alibaba 是阿里巴巴提供的一站式微服务开发解决方案，目前已被 Spring Cloud 官方收录。而 Nacos 作为 Spring Cloud Alibaba 的核心组件之一，提供了两个非常重要的功能：服务注册中心（服务注册和发现）功能，和统一配置中心功能。 Nac
Spring Cloud Alibaba Nacos路由策略之保护阈值！
在 Nacos 的路由策略中有 3 个比较重要的内容：权重、保护阈值和就近访问。因为这 3 个内容都是彼此独立的，所以今天我们就单独拎出“保护阈值”来详细聊聊。 保护阈值 保护阈值（ProtectThreshold）：为了防止因过多实例故障，导致所有流量全部流入剩余健康实例，继而造成流量压力将剩余健
Nacos中服务删除不了，怎么办？
前两天遇到了一个问题，Nacos 中的永久服务删除不了，折腾了一番，最后还是顺利解决了。以下是原因分析和解决方案，建议先收藏，以备不时之需。 临时实例和持久化实例是 Nacos 1.0.0 中新增了一个特性。临时实例和持久化实例最大的区别是健康检查的方式：临时实例使用客户端主动上报的健康检查模式，而
Nacos服务注册与发现的2种实现方法！
Spring Cloud Alibaba 技术体系中的 Nacos，提供了两个重要的功能：注册中心（服务注册与发现）功能和配置中心功能。 其中注册中心解决了微服务调用中，服务提供者和服务调用者的解耦，让程序开发者可以无需过多的关注服务提供者和调用者的运行细节，只需要通过 Nacos 的注册中心就可以
Spring Cloud Ribbon 中的 7 种负载均衡策略
负载均衡通器常有两种实现手段，一种是服务端负载均衡器，另一种是客户端负载均衡器，而我们今天的主角 Ribbon 就属于后者——客户端负载均衡器。 服务端负载均衡器的问题是，它提供了更强的流量控制权，但无法满足不同的消费者希望使用不同负载均衡策略的需求，而使用不同负载均衡策略的场景确实是存在的，所以客
如何解决Spring Cloud 服务冲突问题
本篇文章为大家展示了如何解决Spring Cloud 服务冲突问题，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。一、背景...
spring cloud服务的注册与发现怎么实现
本篇内容主要讲解“spring cloud服务的注册与发现怎么实现”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“spri...
Dubbo怎么实现Spring Cloud服务治理
本篇内容介绍了“Dubbo怎么实现Spring Cloud服务治理 ”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处...
SpringCloud相关面试题有哪些
本篇内容主要讲解“SpringCloud相关面试题有哪些”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“SpringCloud相...
如何分析Spring Cloud Ribbon、Spring Cloud Feign以及断路器
如何分析Spring Cloud Ribbon、Spring Cloud Feign以及断路器，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希
springcloud微服务的组成部分有哪些
这篇文章主要讲解了“springcloud微服务的组成部分有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“s...
SpringCloud的OpenFeign项目怎么创建
这篇文章主要讲解了“SpringCloud的OpenFeign项目怎么创建”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习...
spring cloud oauth3整合JWT后获取用户信息不全怎么办
本篇内容主要讲解“spring cloud oauth3整合JWT后获取用户信息不全怎么办”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带...
怎样解析微服务架构SpringCloud
怎样解析微服务架构SpringCloud，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。...
spring cloud中API网关的示例分析
这篇文章主要介绍spring cloud中API网关的示例分析，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！一、服务网关简介1、外观模式客户端...
Spring Cloud微服务的相关问题有哪些
本篇内容介绍了“Spring Cloud微服务的相关问题有哪些”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处...
spring cloud config整合gitlab如何搭建分布式的配置中心
本文小编为大家详细介绍“spring cloud config整合gitlab如何搭建分布式的配置中心”，内容详细，步骤清晰，细节处理妥当，希望这篇“spring cloud config整合gi...
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot