适用于发布/订阅，单向和竞争消费者的Aeron消息传递模式

如何解决适用于发布/订阅，单向和竞争消费者的Aeron消息传递模式

目前，我正在为我们的高频交易用例评估Aeron。正如我从documentationm中看到的那样，Aeron基本上就是运输工具。那是一些更高级的实现，例如与RabbitMQ竞争的消费者，公平的调度或模式吗？

谢谢

解决方法

简短的回答是“否”。

更长和更复杂的答案是，您可以在Aeron之上构建一些东西来实施竞争性的消费者/公平派遣。主要挑战是您需要某种机制来管理消费者之间的协调。消费者分布越广泛，情况就越复杂。

单进程（多线程）

在这种情况下，一个生产者，多个消费者队列可能就足够了。从Aeron读取一个线程，即可复制和排队消息，而使用者则从队列中读取消息。 Agrona库（与Aeron一起提供）具有一些快速的队列实现。

单主机

类似于单个进程，您将需要与队列相似的东西，但是需要使用共享内存或类似的东西来实现。我知道没有什么可以做的。

多个主机

要管理此问题，需要某种中央经纪人来管理工作分配，确认，重新交付等。此服务将需要冗余，以确保如果经纪人本身失败，则处理可以继续。可以想象，您可以在Aeron Archive和Cluster之上构建类似的内容，但是我不建议这样做。还有其他需要较少协调开销的解决方案，例如通过业务密钥进行分区。

,

不。竞争消费者不适用于交易应用程序。实际上，我已经看到许多交易应用程序试图适应类似的模式（即SEDA框架），但是它并不能解决并发问题。

为了使竞争的消费者能够工作，任务是独立的并且可以并行运行。在交易应用程序中，您无法执行此操作，因为订单只能在单个时间点处理一个事件。我们通常会反过来解决问题-使线程对特定顺序具有亲和力，并确保每个事件都由同一线程处理-这样您就可以实现顺序处理。

IMO-Aeron，24West LBM提供了一种快速，有序/有序的事件交付方式。您想在可靠模式下运行（LBM-UME和Aeron集群），这样就不会损失任何交易。多播确实非常有效-编写一次即可随处使用。由于您可以卸载非关键流程，因此该模式适用于交易系统。您可以使用“共享内存”来实现此目的，但是您受到单个物理服务器的限制。您可以认为“ aeron”具有实时复制共享内存的功能。

此外，您将遇到物理边界-因此，通常您必须使用“负载平衡器”将订单定向到特定服务器-与服务器内的线程亲和力相同。举一个具体的例子，期权市场数据量很大-因此您想限制市场数据的处理/消耗量。因此，您希望相关符号的订单由同一台物理服务器处理。