partitionjob 介绍
partitionjob
spring boot上构建spring batch远程分区Step，分布式多机处理，提高spring batch处理时效。
批处理是企业级业务系统不可或缺的一部分，spring
batch是一个轻量级的综合性批处理框架,可用于开发企业信息系统中那些至关重要的数据批量处理业务.SpringBatch基于POJO和Spring框架,相当容易上手使用,让开发者很容易地访问和利用企业级服务.spring
batch是具有高可扩展性的框架,简单的批处理,复杂的大数据批处理作业都可以通过SpringBatch框架来实现。
项目特色
本项目不仅搭建了一个完整的可直接运行的spring batch远程分区处理实例，而且基于spring profile控制，可实现如下模式部署
-
一主多从
-
多主多从
-
主从混用
架构图
原理简述
基于RabbitMQ，master节点将数据根据相关逻辑（ID，hash），拆分成一段一段要处理的数据集，然后将数据集放到消息中间件中（ActiveMQ，RabbitMQ
），从节点监听到消息，获取消息，读取消息中的数据集处理并发回结果
更多详情可移步博客：kailing.pub，更多关于spring
batch的技术交流可在博客留言区给我留言
partitionjob 官网
https://gitee.com/kailing/partitionjob
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。