如何解决芹菜:如何批量生产任务?
我有一个很大的循环来执行任务:
for i in range(1000):
receiver.apply_async(args=(i),kwargs={},exchange=topic_exchange,routing_key=topic_key)
我发现celery 3.X之前有一个模块celery.contrib.batches
或celery 4.X之后有一个celery_batches
。但是此模块似乎不支持此类参数。那我该怎么办呢?
我在使用Rabbitmq的芹菜4.4.7。
解决方法
如果“批量”是指所有任务的一小部分(大块),那么您可以查看Chunks。建议不要使用块(毕竟它们是出于不同目的),如果您关心结果,建议您使用Chord。如果不这样做,则只需创建一个Group。一千个任务不算什么-我们有由成千上万个任务组成的和弦/组,而Celery很好地应付了这种负荷。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。