AxonIQ 在重放旧事件的同时处理新事件

如何解决AxonIQ 在重放旧事件的同时处理新事件

偶尔,我们不得不从轴突事件存储中重放事件以更新我们的预测。这个重播需要几个小时,随着时间的推移只会持续更长的时间。这意味着我们的应用程序在重放进行时不会处理新事件。

我想知道是否有办法在重播的同时继续处理事件? axon 是否提供了这样的机制,或者我们是否必须创建两个不同的事件处理程序:一个用于“正常”处理,另一个用于重放?

解决方法

Axon 没有为此提供开箱即用的解决方案。 大致来说,您可以采取两种方法:

  1. 进行蓝/绿部署。十分之九,需要重放以符合开发期间构建的新查询模型格式。如果您使用蓝/绿部署方式,您可以简单地预热/重放新实例,并在完成后跳过。
  2. 在调用重放期间实现额外的组件以构建新的 TrackingEventProcessor 及其包含的事件处理组件。此外,新的查询模型存储需要并行运行以存储新格式,并在该过程完成后使用别名进行切换。

我打赌其中一种选择是最少的代码工作和更多的操作。选项 2 当然会翻转。

请注意,在进行重播时,您将总是需要处理某种程度的最终一致性。事件只是在系统中不断发生,因此从概念上讲,到达事件流的末尾是不会发生的。因此,在此空间中构建任何解决方案之前,您需要决定重放何时足够

最后,还有一些方法可以提高事件处理速度,从而也提高了重放速度。 This blog 快速浏览了您为此可以做什么,简而言之,可以通过调整事件处理 batchSize、处理线程和段的数量,最后结合 Axon 的 {{ 1}} 以改进数据库访问。

更新

在谈到重播功能时,需要注意的是,它是一个强大但笨重的工具。 任何 事件系统(不仅仅是 Axon),您需要对数十亿个事件进行重放,都会给实施和部署策略带来一些压力。或者更进一步,是否应该这样做。

因此,您必须推断重播是否是解决手头问题的最佳解决方案。有时,简单地直接更新您的查询模型是最实用的解决方案,并且可以节省大量时间。但在某些情况下,您会在事件处理和部署策略方面实施增强功能,以允许快速重播。

我还看到很多域的重播不需要事件存储的完整重播。如果应用程序的用户只需要立即显示去年的模型,那么只重放去年的事件要简单得多。也许即使是最后 3 个月也足够了。

从概念的角度来看,重播可以解决您系统中的所有答案。这绝对是寻求事件溯源解决方案的好处,因为您实际上拥有单一的事实来源。但与任何工具一样,您应该在正确的时间将其用于正确的问题。

,

谢谢Steven。博客中的改进很有趣,但即便如此,10 亿的事件流也需要接近 10 个小时才能重播,而且在如此长的时间内错过新事件是不可接受的。所以我想即使事件处理速度非常好,仍然需要通过实施您提出的两种解决方案之一来解决问题。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 <select id="xxx"> SELECT di.id, di.name, di.work_type, di.updated... <where> <if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 <property name="dynamic.classpath" value="tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -> systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping("/hires") public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate<String
使用vite构建项目报错 C:\Users\ychen\work>npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-