将重试的sidekiq作业放在队列的开头

如何解决将重试的sidekiq作业放在队列的开头

我的sidekiq队列有大约100000个工作。有些作业会失败，这是可以的，因为通常在sidekiq重试时它们会成功。

但是，来自RetrySet的那些作业被添加到队列的末尾。很长一段时间，直到再次处理作业。

如何将重试作业放在队列的开头，以便优先处理它们？

解决方法

我不相信会有一个很好的答案，因为如果我记得正确的Sidekiq队列使用Redis列表，那么对FIFO的期望就很高。重试的作业在同一队列中排队，因此这意味着它们将始终排在最后。

一种方法（不是很好，也不是我推荐的方法）是添加另一个队列，并将作业重试发送给它：

# config/sidekiq.yml
---
:queues:
  - default
  - my_worker_retries

设置工作人员不要重试：

class MyWorker
  include Sidekiq::Worker
  sidekiq_options retry: false
end

请确保您的工作人员意外地引发了错误，如下所示：

class MyWorker
  include Sidekiq::Worker
  sidekiq_options retry: false

  def perform(arg)
    raise ArgumentError
  end
end

添加一些逻辑来处理该异常，然后通过新创建的队列再次运行此作业：

class MyWorker
  include Sidekiq::Worker
  sidekiq_options retry: false

  def perform(arg)
    begin
      raise ArgumentError
    rescue ArgumentError => error
      MyWorker.set(queue: :my_worker_retries).perform_async(arg)
    end
  end
end

这意味着任何失败并在my_worker_retries队列中排队的作业都可能陷入无限循环-作业失败，被抢救，排队，再次失败-更糟糕的是，由于您没有使用Sidekiq的内置重试排队机制，没有退避算法来确保重试不会以CPU能够处理的速度触发。

整个事情都很脆弱。

您可以尝试通过传递一个表明该作业已重试多少次的参数来防止这种情况，以便在经过一定次数后可以停止：

class MyWorker
  include Sidekiq::Worker
  sidekiq_options retry: false

  MAX_RETRIES = 5

  def perform(arg,retries = 0)
    raise 'Too many retries' if retries >= MAX_RETRIES

    begin
      raise ArgumentError
    rescue ArgumentError => error
      MyWorker.set(queue: :my_worker_retries).perform_async(arg,retries + 1)
    end
  end
end

您可以扩展它以拥有自己的退避算法：

MyWorker.set(queue: :my_worker_retries).perform_in((retries + 1).hours,arg,retries + 1)

这都不是理想的，但是它确实回答了这个问题。我肯定希望有比这更好的解决方案。

有些Sidekiq扩展名可能会起作用，例如https://github.com/chartmogul/sidekiq-priority_queue，但我以前从未使用过它们。