为什么ZeroMQ SUB缺少消息？

如何解决为什么ZeroMQ SUB缺少消息？

我每台计算机建立了约12000个订阅者，线程如下：

订户端：

def client(id):

    context=zmq.Context()
    subscriber=context.socket(zmq.SUB)
    subscriber.connect('ip:port')
    subscriber.setsockopt(zmq.SUBSCRIBE,(id+'e').encode())

    while 1:
        signal=subscriber.recv_multipart()
    
        write logs...
    

for i in range(12000):
    threading.Thread(target=client,args=(str(i+j*12000),)).start()

#j is arbitrary unduplicated int

发布者方面：

subscriber=zmq.Context().socket(zmq.PUB)
subscriber.bind('tcp://*:port')
while 1:
    for id in client_id:
        subscriber.send_multipart([(id+'e').encode()]+[message])

当我使用多台计算机（通过使用不同的j）来建立用户时，有时某些用户根本无法接收消息。

如果我重新启动订户，则那些无法接收消息的用户将恢复正常。但是那些正常的人变得无法接收消息。

这些问题不会显示任何错误，只能在我的日志中找到。

连接过多是否会发生此问题？

解决方法

_{如果一个人从未与ZeroMQ合作过，
在深入了解更多细节之前，可以先看看"ZeroMQ: Principles in less than Five Seconds"}

随着连接/消息/大小的计数越来越大，一些默认的猜测值通常就不够用了。尝试在 PUB 端配置上扩展一些其他可以正常使用的默认设置，在该配置下问题似乎开始令人窒息（不要忘记，因为v3.?+，订阅列表处理已从位于中心SUB侧的 PUB 端。这减少了数据流的量，但要花一些（这里增长到惊人的）额外费用在PUB端〜RAM-for-buffers + CPU-for-TOPIC-list-filtering ...

因此，让我们从 PUB 端开始这些步骤：

aSock2SUBs = zmq.Context( _tweak_nIOthreads ).socket( zmq.PUB ) # MORE CPU POWER
aSock2SUBs.setsockopt( zmq.SNDBUF,_tweak_SIZE_with_SO_SNDBUF ) # ROOM IN SNDBUF

最后但并非最不重要的一点，PUB -s会静默删除任何不符合其当前HighWaterMark级别的消息，因此我们也要对其进行调整：

aSock2SUBs.setsockopt( zmq.SNDHWM,_tweak_HWM_till_no_DROPs )   # TILL NO DROPS

其他{ TCP_* | TOS | RECONNECT_IVL* | BACKLOG | IMMEDIATE | HEARTBEAT_* | ... }-低级参数设置可能有助于进一步使您的12k + SUB-群与其他（友好和敌对）流量并存，并使您的应用程序比仅依赖预煮的API默认值更强大。

请同时咨询ZeroMQ API文档和操作系统默认值，因为许多ZeroMQ低级属性也依赖于操作系统实际配置值。

还应该警告您，在Python中创建12k +线程仍然会留下纯粹的[SERIAL]代码执行，因为Python中央GIL锁所有权（专有）可以避免（是，主要是避免）任何形式的{{ 1}}共同执行，因为GIL锁的所有权是排他的，并且重新[CONCURRENT]-将任意数量的线程放入等待队列，并导致执行块的顺序很简单（默认情况下， Python 2将每100条指令切换一次线程，从Python 3.2+开始，默认情况下，GIL将在5毫秒（5,000 [us]）后释放，以便其他线程有机会尝试并获得GIL锁。如果在交换GIL锁所有权时出现12k +线程之战实际上导致“几乎阻塞”了用于消息缓冲，堆栈，发送，重新传输的任何TCP / IP指令，则可以更改这些默认值。直到及时确认接收为止。您可以对其进行测试，直到出现流血边缘，但是如果使用其他参数，则选择更安全的天花板可能会有所帮助rs已针对鲁棒性进行了很好的调整。

最后
但并非最不重要的是，享受Zen-of-Zero ，它是distributed-computing的Martin SUSTRIK的代表作，精心打造，最终可扩展，几乎为零延迟，非常舒适，移植广泛的信令和消息传递框架。

除了user3666197的答案，您可能还必须考虑所有这些客户端连接所花费的时间。 PUBlisher不知道应该有多少个SUBcriber，并且从建立第一个连接时就继续向当前连接的那些SUBscriber发送消息。 PUBlisher套接字不会挂在其发送的消息上，以防万一将来有更多的订阅者在不确定的时间连接。邮件转移到1个或多个订阅者后，将从PUBlisher的队列中删除。而且，连接不是立即建立的，要通过12,000个连接就相当多了。

先启动PUBlisher或SUBscriber程序无关紧要；一旦两个程序都运行，您的12,000个连接将在一段时间内建立，这是异步发生在您自己的线程上的。一些订阅者将开始获取消息，而其他订阅者仍然对PUBlisher未知。最终，当所有12,000个连接都建立之后，它将变得平滑。

为什么ZeroMQ SUB缺少消息？

如何解决为什么ZeroMQ SUB缺少消息？

解决方法

相关推荐