linux – 为什么在Xen下TCP接受()性能如此糟糕?

在Xen下,我的服务器可以接受()新的传入TCP连接的速度非常糟糕.裸机硬件上的相同测试显示3-5倍的加速.

>在Xen下怎么会这么糟糕?
>您是否可以调整Xen以提高新TCP连接的性能?
>是否有其他虚拟化平台更适合这种用例?

背景

最近我一直在研究在Xen下运行的内部开发的Java服务器的一些性能瓶颈.服务器说HTTP并回答简单的TCP连接/请求/响应/断开呼叫.

但即使在向服务器发送大量流量时,它也不能接受每秒超过7000个TCP连接(在8核EC2实例上运行Xen的c1.xlarge).在测试期间,服务器还表现出一种奇怪的行为,其中一个核心(不一定是cpu 0)的负载非常高,大于80%,而其他核心几乎保持空闲状态.这让我认为问题与内核/底层虚拟化有关.

在裸机,非虚拟化平台上测试相同的场景时,我得到的测试结果显示TCP accept()速率超过35 000 /秒.这是在运行Ubuntu的Core i5 4核心机器上,所有内核几乎完全饱和.对我来说,那种形象似乎是正确的.

再次在Xen实例上,我尝试启用/调整sysctl.conf中的几乎所有设置.包括启用Receive Packet SteeringReceive Flow Steering以及将线程/进程固定到CPU但没有明显的增益.

我知道在运行虚拟化时可以预期降级性能.但到了这个程度?一种速度较慢的裸机服务器,性能优于virt. 8核5倍?

>这是Xen真正预期的行为吗?
>您是否可以调整Xen以提高新TCP连接的性能?
>是否有其他虚拟化平台更适合这种用例?

重现此行为

当进一步研究这个问题并查明问题时,我发现netperf性能测试工具可以模拟我遇到的类似情况.
使用netperf的TCP_CRR测试我收集了来自不同服务器(虚拟化和非虚拟化)的各种报告.如果您想提供一些调查结果或查看我当前的报告,请参阅https://gist.github.com/985475

我怎么知道这个问题不是由于编写得不好的软件造成的?

>服务器已经在裸机硬件上进行了测试,它几乎使所有可用的内核饱和.
>使用保持活动的TCP连接时,问题就消失了.

为什么这很重要?

ESN(我的雇主),我是Beaconpush的项目负责人,这是一个用Java编写的Comet / Web Socket服务器.即使它具有非常高的性能并且几乎可以在最佳条件下为其提供任何带宽,但它仍然受限于新TCP连接的速度.也就是说,如果您经常有大量用户流失,用户经常来去,那么就必须设置/拆除许多TCP连接.我们尽可能地减轻这种保持连接的速度.
但最终,accept()性能使我们的核心不再旋转,我们不喜欢这样.

更新1

有人posted this question to Hacker News,那里也有一些问题/答案.但我会尝试将这个问题与我发现的最新信息保持同步.

硬件/平台我测试过这个:

> EC2,实例类型为c1.xlarge(8核,7 GB RAM)和cc1.4xlarge(2x Intel Xeon X5570,23 GB RAM).使用的AMI分别是ami-08f40561和ami-1cad5275.有人还指出,“安全组”(即EC2s防火墙)也可能会受到影响.但是对于这个测试场景,我只尝试使用localhost来消除这种外部因素.我听到的另一个谣言是EC2实例不能超过10万PPS.
>两个运行Xen的私有虚拟化服务器.一个人在测试之前没有负载,但没有产生任何影响.
> Rackspace专用的Xen服务器.那里的结果差不多.

我正在重新运行这些测试并在https://gist.github.com/985475填写报告.如果您想提供帮助,请提供您的号码.这很简单!

(行动计划已移至单独的综合答案)

解决方法

现在:Xen下的小数据包性能很糟糕

(从问题本身转移到单独的答案)

根据HN(KVM开发人员?)上的用户的说法,这是由于Xen和KVM中的小数据包性能.这是虚拟化的一个已知问题,据他说,VMWare的ESX处理得更好.他还指出,KVM正在带来一些旨在缓解这一点的新功能(original post).

如果这是正确的,这个信息有点令人沮丧.无论哪种方式,我将尝试以下步骤,直到一些Xen大师带来明确的答案:)

来自xen-users邮件列表的Iain Kay编译了这个图:

注意TCP_CRR条,比较“2.6.18-239.9.1.el5”与“2.6.39(与Xen 4.1.0)”.

基于此处和HN的答复/答案的当前行动计划:

>按照syneticon-dj的建议,将此问题提交给特定于Xen的邮件列表和xensource的bugzilla
一个message was posted to the xen-user list,等待回复.
>创建一个简单的病态,应用程序级测试用例并发布它.已经创建了一个带有指令的测试服务器,published to GitHub.通过这种方式,你可以看到比netperf更真实的用例.>尝试使用32位PV Xen客户端实例,因为64位可能会导致Xen中的更多开销.有人在HN上提到了这一点.没有什么区别.>尝试在HN上按照abofh的建议在sysctl.conf中启用net.ipv4.tcp_syncookies.这显然可能会提高性能,因为握手会在内核中发生.我没有运气.>将积压从1024增加到更高的水平,这也是abofh对HN的建议.这也可能有所帮助,因为guest虚拟机可能会在dom0(主机)给出的执行切片期间接受()更多连接.>仔细检查所有机器上是否禁用了conntrack,因为它可以将接受率减半(由deubeulyou建议).是的,它在所有测试中都被禁用.>检查“监听队列溢出和netstat -s中的syncache桶溢出”(由HIK上的mike_esspe建议).>拆分多个核心之间的中断处理(RPS / RFS我试过先前尝试启用这个,但可能值得再次尝试).由亚当在HN推荐.>按照Matt Bailey的建议,关闭TCP分段卸载和分散/聚集加速. (在EC2或类似的VPS主机上不可用)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限!!!粘滞位!!!超详解!!!
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,个人学习时很认真的记录的,觉得好的麻烦点个赞。
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1(亲测无问题,建议收藏)_openssh_9.5p1
文章浏览阅读3.5k次,点赞93次,收藏78次。初识Linux中的线程,理解线程的各种概念,理解进程地址空间中的页表转换,介绍pthread线程库并理解线程库!
文章浏览阅读863次。出现此问题为Linux文件权限问题,解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
文章浏览阅读2.9k次。使用文本编辑器:打开CSV文件,并使用文本编辑器(如Notepad++、Sublime Text、Visual Studio Code等)来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意,上述方法并非绝对准确,特别是当文件没有明确的编码标识时。因此,如果你发现CSV文件在不同的工具或方法中显示不同的编码格式,可能需要进行进一步的分析和判断,或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具:在命令行中,你可以使用。_shell读取csv文件逐行处理
本文介绍了如何在Linux系统中升级gcc版本,以便更好地支持C++11及以上版本的新特性。通过升级gcc,可以提升编译器的功能和性能,获得更好的开发体验。详细的步骤和方法请参考原文链接。
文章浏览阅读4.4k次,点赞6次,收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单,可以方便的来进行一些测试。_linux mosquitto
文章浏览阅读7.2k次,点赞2次,收藏12次。Linux中,用于根目录下有一个.ssh目录,保存了ssh相关的key和一些记录文件。_~/.ssh/
文章浏览阅读4.5k次,点赞5次,收藏18次。首先需要安装 snmp ,使用下面的命令进行安装安装完毕之后,使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具
文章浏览阅读3.5k次,点赞7次,收藏24次。本地部署和使用llama.cpp进行量化Llama2,linux和Windows平台方案,支持CPU和GPU多版本。_llama cpp gpu
文章浏览阅读1.4k次,点赞46次,收藏44次。在vim中,最为常见的有三种模式,分别是:命令模式(command mode)、插 入模式(Insert mode)和底行模式(last line mode)文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。在命令模式下,shift+: 即可进入该模 式。在进入vim后,使用 i 进入插入模式,插入模式就是vim的编辑模式,可以在vim中进行内容的编辑和修改。vim的核心模式,使用vim进入文件编辑时的最初模式,在该模式中只能移动光标和使用命令对文件内容进行编辑。
Linux常用命令大全,包括目录操作命令和文件操作命令,以及查看登录用户命令和文件内容查看命令等。
文章浏览阅读1.7k次,点赞57次,收藏50次。Yearning 简单, 高效的MYSQL 审计平台 一款MYSQL SQL语句/查询审计工具,为DBA与开发人员使用.本地部署,注重隐私,简单高效的MYSQL审计平台。下面介绍Linux 简单部署Yearning 并结合cpolar 内网穿透工具实现远程访问,破除访问限制,提高工作效率!!
文章浏览阅读1.9w次,点赞7次,收藏18次。Microsoft Edge是一款现代化的浏览器,它拥有众多功能和强大的性能,为用户带来更加流畅的浏览体验。Edge最近推出了分屏功能,支持一个窗口同时显示两个选项卡,这可以大大提高生产力和多任务处理能力。欢迎大家使用分屏及其他新功能后分享自己的使用心得与建议。首先,使用Microsoft Edge的分屏功能确实能够提高生产力,尤其是在需要同时浏览两个不同网页的情况下。分屏功能使得在一个窗口中同时显示两个选项卡,用户可以在两个网页之间快速切换,而无需打开新的窗口或使用多个浏览器窗口。_edge linux
文章浏览阅读1.8k次,点赞83次,收藏71次。C语言实现倒计时和进度条并进行演示。_linux不换行输出倒计时
文章浏览阅读1.5k次,点赞28次,收藏25次。基于嘉立创泰山派开发板,本机使用VMware+Unbuntu,编译泰山派的Linux SDK。详细教程,0基础小白可操作!内涵大量基础操作和linux基本知识。_立创泰山派sdk编译