Linux下TIME_WAIT连接优化内核参数tcp_tw_reuse与tcp_tw_recycle区别与联系浅析

概述

最近学习网络相关知识点,很多文章提到针对TCP time wait(后续简称TW)状态连接进行优化的参数tcp_tw_reuse和tcp_tw_recycle,并且不少文章提到了启用tcp_tw_recycle会导致的问题,不建议开启该选项,但是并没有找到一篇能完全解答自己所有疑惑的文章,如:

  1. Linux会丢弃所有来自远端的timestramp时间戳小于上次记录的时间戳(由同一个远端发送的)的任何数据包。也就是说要使用该选项,则必须保证数据包的时间戳是单调递增的,这里的远端定义的是ip还是ip+port? 是一定时间内丢弃时间戳过期packet还是tcp_tw_recycle启用后一直丢弃?
  2. 很多文章都会提到tcp_tw_reuse 仅作用于客户端连接,tcp_tw_recycle则同时作用于客户端与服务端连接,这里客户端、服务端连接具体指的是什么?与TCP三次握手的客户端、服务端概念上有什么区别?

通过学习网上大家的总结+阅读了部分4.9内核源码,这里整理总结一下从各处学习到的知识点及自己的理解。

过多time wait会导致的问题

  1. 客户端主动发起的连接总数受 max open file数限制,过多连接导致达到max open file限制将无法创建新的连接。
  2. 客户端主动发起的连接总数也受可用端口号限制,一般使用端口号为1024~65000,如果过多TW连接将端口号耗尽同样无法再创建新的连接。
  3. 每个TW连接都会占用一定的系统资源-如内存--实际耗费内存很小,这点一般可忽略

tcp_tw_reuse与tcp_tw_recycle相同点

  1. 两者目的均是为了解决系统中过多TW状态 TCP连接的问题。
  2. 两者都需要和tcp_timestamps 同时开启方能生效。
  3. 根据RFC定义,主动关闭连接方其TW状态需维持2MSL时间才正式关闭连接,Linux上MSL默认定义为30s,即TW状态默认需要维持1分钟方能正式关闭,tcp_tw_reuse与tcp_tw_recycle均为通过缩短TW状态时间进行复用来进行优化。
  4. 两个参数默认均为关闭状态

tcp_tw_reuse作用

  1. 仅作用于客户端方主动发起连接,即出向连接。
  2. 连接进入TW状态>1s,且新连接的timestamp大于旧连接记录的timestamp时方能复用连接。
  3. client提前中止TW状态进行复用,发起新连接,server依然处于last ack状态时,交互流程如下:
    1. client发送新SYN => server
    2. client <= server由于处于LAST ACK,不理会SYN,重发 FIN+ACK
    3. client收到FIN+ACK,发现timestamp已过期,发送RST => server,server收到后重置关闭旧连接
    4. client初始发送的SYN包等待ACK超时1s后,重发SYN => server
    5. client <= server 会发 SYN+ACK 进入正常三次握手连接过程...
    6. 新连接建立完成后,client/server若收到旧连接的历史报文,通过timestamp可判断出为旧报文直接丢弃
      整个过程中可以看到,client端可以正常复用发起新的连接,在server端依然处于LAST ACK状态时也只是需要稍微延迟一小段时间而已。

tcp_tw_recycle作用

  1. 同时作用于client/server发起连接,即出、入向连接
  2. TW状态维持3.5RTO(the retransmission timeout (RTO) interval which is computed from the RTT and its variance)之后就直接可以被过期回收,具体RTO取值是基于网络RTT及其他相关因子综合计算,一般在200ms~120s之间。
  3. TW状态后2MSL会丢弃所有来自远端相同四元组的timestamp小于上次记录timestamp的任何数据包,因而需要保证数据包timestamp是单调递增的
    1. NAT情况下,不同client从同一NAT ip请求,由于NAT不会更改包中的timestamp,而不同机器的时间不可能完全同步,因而不同机器从同一个NAT IP+port发出的包会存在timestamp非单调递增的情况,问题场景举例:
      1. 机器A时间比机器B快1s,机器A先通过NAT机器 ip1:port1 对服务器S ip2: port2 发起tcp连接socket1--使用conn_old(ip1,port1,ip2,port2)四元组表示
      2. 后S主动断开连接进入TW状态,由于开启tcp_tw_recycle,经过3.5RTO后S即可复用conn_old这个连接
      3. NAT机器对应连接在进入LAST ACK并收到S回复的ACK之后关闭了conn_old
      4. 而后机器B通过NAT机器发起conn_new(ip1,port2)
      5. 此时S收到SYN包发现timestamp 小于conn_old中记录的最终timestamp,于是丢弃conn_new的SYN包
      6. 机器B超时未收到回复,重发SYN包,机器S收到后比较timestamp后继续丢弃....如此往复,最终导致通过NAT机器发起的conn_new(ip1,port2)在TW状态终止的2MSl内都无法建立新的连接,对于机器B的用户表现就是连接迟迟无法建立成功。
    2. 高版本内核由于新的时间戳生成算法tcp: randomize tcp timestamp offsets for each connection 即便未使用NAT也会导致同一台机器不同socket之间timestamp非单调递增
  4. Linux从4.12版本内核开始已经移除了tcp_tw_recycle支持

文章开始时两个问题的答案

  1. 远端定义为ip+port,无论tcp_tw_reuse还是tcp_tw_recycle,针对回收TW连接对新连接的影响,都是指同一四元组代表的连接(src_ip,src_port,dst_ip,dst_port),在开启tcp_tw_recycle情况下,连接进入TW状态的2MSL时间内,所有收到的小于旧连接最终timestamp的包都会被直接丢弃。
  2. 客户端是指主动发起连接的一方,即TCP三次握手中发出首个SYN包的一方。

转载请注明出处,原文地址:https://www.cnblogs.com/AcAc-t/p/tcp_tw_reuse_and_tcp_tw_recycle_introduction.html

参考:

原文地址:https://www.cnblogs.com/AcAc-t

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限!!!粘滞位!!!超详解!!!
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,个人学习时很认真的记录的,觉得好的麻烦点个赞。
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1(亲测无问题,建议收藏)_openssh_9.5p1
文章浏览阅读3.5k次,点赞93次,收藏78次。初识Linux中的线程,理解线程的各种概念,理解进程地址空间中的页表转换,介绍pthread线程库并理解线程库!
文章浏览阅读863次。出现此问题为Linux文件权限问题,解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
文章浏览阅读2.9k次。使用文本编辑器:打开CSV文件,并使用文本编辑器(如Notepad++、Sublime Text、Visual Studio Code等)来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意,上述方法并非绝对准确,特别是当文件没有明确的编码标识时。因此,如果你发现CSV文件在不同的工具或方法中显示不同的编码格式,可能需要进行进一步的分析和判断,或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具:在命令行中,你可以使用。_shell读取csv文件逐行处理
本文介绍了如何在Linux系统中升级gcc版本,以便更好地支持C++11及以上版本的新特性。通过升级gcc,可以提升编译器的功能和性能,获得更好的开发体验。详细的步骤和方法请参考原文链接。
文章浏览阅读4.4k次,点赞6次,收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单,可以方便的来进行一些测试。_linux mosquitto
文章浏览阅读7.2k次,点赞2次,收藏12次。Linux中,用于根目录下有一个.ssh目录,保存了ssh相关的key和一些记录文件。_~/.ssh/
文章浏览阅读4.5k次,点赞5次,收藏18次。首先需要安装 snmp ,使用下面的命令进行安装安装完毕之后,使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具
文章浏览阅读3.5k次,点赞7次,收藏24次。本地部署和使用llama.cpp进行量化Llama2,linux和Windows平台方案,支持CPU和GPU多版本。_llama cpp gpu
文章浏览阅读1.4k次,点赞46次,收藏44次。在vim中,最为常见的有三种模式,分别是:命令模式(command mode)、插 入模式(Insert mode)和底行模式(last line mode)文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。在命令模式下,shift+: 即可进入该模 式。在进入vim后,使用 i 进入插入模式,插入模式就是vim的编辑模式,可以在vim中进行内容的编辑和修改。vim的核心模式,使用vim进入文件编辑时的最初模式,在该模式中只能移动光标和使用命令对文件内容进行编辑。
Linux常用命令大全,包括目录操作命令和文件操作命令,以及查看登录用户命令和文件内容查看命令等。
文章浏览阅读1.7k次,点赞57次,收藏50次。Yearning 简单, 高效的MYSQL 审计平台 一款MYSQL SQL语句/查询审计工具,为DBA与开发人员使用.本地部署,注重隐私,简单高效的MYSQL审计平台。下面介绍Linux 简单部署Yearning 并结合cpolar 内网穿透工具实现远程访问,破除访问限制,提高工作效率!!
文章浏览阅读1.9w次,点赞7次,收藏18次。Microsoft Edge是一款现代化的浏览器,它拥有众多功能和强大的性能,为用户带来更加流畅的浏览体验。Edge最近推出了分屏功能,支持一个窗口同时显示两个选项卡,这可以大大提高生产力和多任务处理能力。欢迎大家使用分屏及其他新功能后分享自己的使用心得与建议。首先,使用Microsoft Edge的分屏功能确实能够提高生产力,尤其是在需要同时浏览两个不同网页的情况下。分屏功能使得在一个窗口中同时显示两个选项卡,用户可以在两个网页之间快速切换,而无需打开新的窗口或使用多个浏览器窗口。_edge linux
文章浏览阅读1.8k次,点赞83次,收藏71次。C语言实现倒计时和进度条并进行演示。_linux不换行输出倒计时
文章浏览阅读1.5k次,点赞28次,收藏25次。基于嘉立创泰山派开发板,本机使用VMware+Unbuntu,编译泰山派的Linux SDK。详细教程,0基础小白可操作!内涵大量基础操作和linux基本知识。_立创泰山派sdk编译