linux – 如何扩展UDP读取吞吐量?

发布时间:2020-10-17 发布网站:编程之家
编程之家收集整理的这篇文章主要介绍了linux – 如何扩展UDP读取吞吐量?编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
设置:两个 linux(CentOS 6)服务器通过专用的GigE链路背对背连接.每台服务器有24个内核和32GB RAM

客户端:模拟器在一个线程中尽可能快地拍摄UDP数据包.每个数据包大小为256个字节.我看到最大吞吐量是~200,000包/秒.

服务器:在一个线程中接收UDP套接字上的数据包并执行轻量级解析.我看到最大吞吐量是~200,000包/秒,CPU 1个核心在处理过程中利用率为85%左右.没有数据包丢失,接收缓冲区设置为128M以防万一.

现在我有23个额外的核心我想使用,但是一旦我在服务器端添加一个线程用于接收数据,并且客户端线程通过专用套接字在客户端端发送数据,我看到很多数据包在服务器端丢失.

服务器线程完全相互独立,除了I / O外不会阻塞.它们不会在套接字上竞争,因为它们中的每一个都从它们自己的UDP套接字中吸取数据包.

我看到以下行为:

>每个核心的CPU大约为85%,如果是额外的核心,则使用大约90%的ksoftirqd / xx进程.
>我正在丢失数据包,整个每个线程下降到大约120,000个数据包/秒

Google表示ksoftirqd使用CPU来处理软中断,而重度系统调用(UDP读取)可能是此内核线程CPU使用率过高的原因之一.

我通过将我的进程固定到同一个物理插槽上的一堆核心来重复实验,我发现性能提高到150,000个数据包/秒,但仍有一些相当大的数据包丢失.

有没有办法可以提高程序的可扩展性并最大限度地减少数据包丢失?

解决方法

首先,每秒200,000个数据包,每个数据包有256个(数据?)字节,一旦考虑到UDP,IP和以太网开销,您的千兆链路的运行容量几乎只有计算带宽的一半.在您推动的每秒数据包速率下,许多交换机(例如)会倒下.

其次,你可能被IRQ杀死了.更好的网卡具有可调参数,可以让您减少更少的IRQ以增加延迟(它们每N个数据包仅中断一次).确保已启用该功能. (一个要检查的地方是以太网卡的模块参数.)

总结

以上是编程之家为你收集整理的linux – 如何扩展UDP读取吞吐量?全部内容,希望文章能够帮你解决linux – 如何扩展UDP读取吞吐量?所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您喜欢交流学习经验,点击链接加入编程之家官方QQ群:1065694478