微服务架构任务系统问题

如何解决微服务架构任务系统问题

此刻，我正在用微服务架构编写新应用程序。关于我的应用程序将做的简短说明如下：

• 微服务A将抓取多个电子商务产品页面，并将所有被抓取的产品一对一发送到我的下一个微服务，从现在开始，我将其称为B。对于每个带有running: true的 no 任务的产品，它会刮刮产品并使用running: true创建一个新的Task。
• 微服务B将处理它收到的每个产品（更新数据库中的数据），并将与数据库相比所有已更改的数据发送给我的下一个微服务，从现在开始，我将其称为C。
• 微服务C收到更改的产品，并向我的不和谐和闲暇频道发送消息。完成后，它将把此产品的运行任务设置为running: false

我目前正在苦苦挣扎的是，我希望微服务A再次开始对微服务C处理过的产品进行抓取。为此，我想到了某种任务系统，其中每个被抓取的产品还具有与他们链接的任务ID。我目前遇到的唯一问题是：

• 任务可能会冻结/失败或发生任何其他情况。为了解决这个问题，我有一些任务仍在运行（数据库中的变量），并且已经在5分钟前启动，并自动停止了。这在我看来并不理想，因为这意味着一项任务可能需要5分钟才能完成。
• 由于每个要报废的产品都分配了1个任务，因此我必须快速部署很多微服务B才能正确处理所有负载。

我想问的是，如果有人对如何在我的微服务中改进/实现这样的系统有方法或提示。上一个产品完成后，必须立即刮掉每个产品。当前，微服务A只是通过setInterval检查是否可以找到该产品的运行任务。

所有这些都是在NodeJS中开发的，所有信息都保存在MongoDB数据库中。微服务之间的通信是通过RabbitMQ完成的。

非常感谢您的帮助。

解决方法

我想在此架构上添加两点。似乎每个微服务都会随时间改变数据状态，但是数据源是相同的。

1。为什么不更改每个微服务[状态]的数据状态？

目前，您正在为running:true开始的一项工作使用布尔值。 我们可以将其更改为['scrapping','compare','notify']

{
    ...
    status : 'scrapping',jobId : 23,...
}

现在，当数据最后是微服务C时，它可以为消费者发布状态为“通知”的新作业 微服务A，A可以有条件地处理这种情况，并在需要时进行报废。 另一个好处是，每个微服务都可以根据工作状态有条件地识别工作 也一样因此，在任何故障或重新启动的情况下，每个微服务都只会执行一个任务 如果符合其标准。例如，微服务B不会开始一项没有 scrapping作为状态。 基本上，只有在使用channel.ack(message)完成后才能确认您的工作。

2。数据同步

我不建议以消费者的身份创建多个B微服务，可能存在问题 在数据同步中[当多个使用者B使用不同产品在同一页面上工作时] 您可以按每页衡量您的产品列表 通过一些测试相应地调整队列配置（但队列不要太长，因为这会降低速度并影响性能 或将它们捆绑为一项工作，然后将其发送进行处理。

进一步了解：

• Common rabbitMQ issues
• Calculating queue size