zoukankan      html  css  js  c++  java
  • 解决netstat TIME_WAIT状态过多问题(转)

    在实际生产过程中,遇到过tcp连接有十几万个TIME_WAIT的连接,通过设置相关参数解决,这里直接引用这个连接。

    转自:https://www.cnblogs.com/even160941/p/15180216.html

    通过命令查看所有状态的个数:
    
    netstat -antlp|awk '/tcp/ {print $6}'|sort|uniq -c
         16 CLOSING
        130 ESTABLISHED
        298 FIN_WAIT1
         13 FIN_WAIT2
          9 LAST_ACK
          7 LISTEN
        103 SYN_RECV
       5204 TIME_WAIT
    各个状态的含义解释:
    
    状态	描述
    CLOSED	无连接是活动的或正在进行
    LISTEN	服务器在等待进入呼叫
    SYN_RECV	一个连接请求已经到达,等待确认
    SYN_SENT	应用已经开始,打开一个连接
    ESTABLISHED	正常数据传输状态
    FIN_WAIT1	应用说它已经完成
    FIN_WAIT2	另一边已同意释放
    ITMED_WAIT	等待所有分组死掉
    CLOSING	两边同时尝试关闭
    TIME_WAIT	另一边已初始化一个释放
    LAST_ACK	等待所有分组死掉
    如发现系统存在大量TIME_WAIT状态的连接,通过调整内核参数解决,编辑内核文件,加入以下内容:
    
    vim /etc/sysctl.conf
    net.ipv4.tcp_syncookies = 1
    net.ipv4.tcp_tw_reuse = 1
    net.ipv4.tcp_tw_recycle = 1
    net.ipv4.tcp_fin_timeout = 30
    然后执行 /sbin/sysctl -p 让参数生效。
    
    参数含义解释:
    
    net.ipv4.tcp_syncookies = 1 表示开启SYN cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭。
    net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭。
    net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
    net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间。
    下面附上TIME_WAIT状态的意义:
    
    客户端与服务器端建立TCP/IP连接后关闭SOCKET后,服务器端连接的端口状态为TIME_WAIT,是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢?有没有什么情况使主动关闭的socket直接进入CLOSED状态呢?主动关闭的一方在发送最后一个 ack 后就会进入 TIME_WAIT 状态 停留2MSL(max segment lifetime报文最大生存时间)时间这个是TCP/IP必不可少的,也就是"解决"不了的。也就是TCP/IP设计者本来是这么设计的。
    
    主要有两个原因:
    
    1.防止上一次连接中的包,迷路后重新出现,影响新连接(经过2MSL,上一次连接中所有的重复包都会消失)。
    2.可靠的关闭TCP连接。
    在主动关闭方发送的最后一个 ack(fin) ,有可能丢失,这时被动方会重新发fin, 如果这时主动方处于 CLOSED 状态 ,就会响应 rst 而不是 ack。所以主动方要处于 TIME_WAIT 状态,而不能是 CLOSED。TIME_WAIT 并不会占用很大资源的,除非受到攻击。还有,如果一方 send 或 recv 超时,就会直接进入 CLOSED 状态。
    
    这样修改完内核参数完,再去netstat查看网络连接,发现time_wait状态的连接基本都消失了。
    
    netstat -antlp|awk '/tcp/{print $6}'|sort|uniq -c
          8 ESTABLISHED
         19 LISTEN
          3 SYN_SENT
          3 TIME_WAIT

    有图片的:https://blog.csdn.net/yangshengwei230612/article/details/115165095



    另一个详细的:
    https://www.jianshu.com/p/42918db85f19 :

    在开发网络服务器应用系统的时候,有时会碰到服务器有大量的socket处于CLOSE_WAIT状态,也无法关闭,导致服务器无法接受新的用户请求,最终导致服务器奔溃,系统重启才能解决。

    为什么会出现大量的CLOSE_WAIT状态呢?

    要解决这个问题,我们得先介绍一下socket断开过程中的四次挥手。

    终止TCP连接的四次挥手

    由于TCP连接是全双工的,因此每个方向都必须单独进行关闭。
    假设终止命令由client端发起。

     

     

     

    当clien端传输完成数据,或者需要断开连接时:

    1. Client端发送一个FIN报文给Server端。(序号为M)
      1.1. 表示要终止Client到Server这个方向的连接。
      1.1. 通过调用close(socket) API。
      1.3 表示Client不再会发送数据到Server端。(但Server还能继续发给Client端)
      1.4 Client状态变为FIN_WAIT_1
    2. Server端收到FIN后,发送一个ACK报文给Client端。(序号为M+1)
      2.1 Server状态变为CLOSE_WAIT
      2.2 Client收到序号为(M+1)的ACK后状态变为FIN_WAIT_2
      。。。
    3. Server端也发送一个FIN报文给Client端。(序号为N)
      3.1 表示Server也要终止到Client端这个方向的连接。
      3.2. 通过调用close(socket) API。
      3.3 Server端状态变为LAST_ACK
    4. Client端收到报文FIN后,也发送一个ACK报文给服务器。(序号N+1)
      4.1 Client状态变为TIME_WAIT
    5. Server端收到序号为(N+1)的ACK
      5.1 Server的状态变为CLOSED.
    6. 等带2MSL之后
      6.1 Client的状态也变为CLOSE.
    7. 至此,一个完整的TCP连接就关闭了。

    两个基本问题:

    1. Q: 我们看到CLOSE_WAIT出现在什么时候呢?
      A: 在Sever端收到Client的FIN消息之后。
    2. Q: 状态CLOSE_WAIT在什么时候转换成下一个状态呢?
      A: 在Server端向Client发送FIN消息之后。

    至此似乎明白了为什么会出现CLOSE_WAIT的状态:如果Server端一直没有向client端发送FIN消息(调用close() API),那么这个CLOSE_WAIT会一直存在下去。

    原因分析

    从上面我们看到出现CLOSE_WAIT,说明Server端没有发起close()操作,这基本上是用户server端程序的问题了;通常情况下,Server都是等待Client访问,如果Client退出请求关闭连接,server端自觉close()对应的连接。

    当然这也可能是业务实现上的需要,暂时不发送FIN,因为服务器可能还有数据要发往客户端,等发送完所有应用数据最后再发送FIN消息了;这个场景并不是这里我们讨论的大量COLSE_WAIT的问题了,因为这个还是可控的。

    我们要讨论的场景是什么?我们先介绍两个系统调用,前面也提到并且用到的close(socket)和shutdown(socket,HOW)接着往下分析。

    我们知道一个进程打开一个socket,然后此进程fork出子进程的时候,父进程已打开的socket是会被继承的,即子进程能够继续访问这个socket。其结果就是,一个socket被两个进程打开,一个父进程和一个子进程,此时socket的引用计数会变成2。

    • 调用close(socket)时,内核先检查socket上的引用计数器:如果引用计数大于1,那么将这个引用计数减1,然后直接返回。如果引用计数等于1,那么内核才会真正关闭此socket。(通过发送FIN到对端来关闭TCP连接)
    • 调用shutdown(socket,HOW)时,内核不会检查此socket对应的引用计数器,直接向对端发送FIN来关闭TCP连接。

    据此分析,很大可能性是用户服务器的程序实现有问题导致的大量CLOSE_WAIT的socket,比如父进程打开了socket,然后通过fork出子进程来处理业务,父进程继续对网络请求进行监听,永远不会终止;当客户端发FIN过来的时候,处理业务的子进程处理此FIN消息,调用close()对本端进行关闭,然而这个close()调用只是把socket的引用计数器减1,因为父进程还在运行,socket并没关闭,这样就导致系统中又多了一个CLOSE_WAIT的socket,长此以往,就这样了。

    关于TIME_WAIT状态

    多说两句关于TIME_WAIT的状态,这个发生在client端,而且是不可避免的,其时间长度是固定的2MSL,到期自动转为CLOSED,不会导致系统资源耗尽的问题。

    MSL是一个系统级参数,可调。

    严以律己、宽以待人
  • 相关阅读:
    白色情人节为你身边的程序猿献上一份礼物!
    《大话操作系统——做坚实的project实践派》(3)
    hdu 1085 Holding Bin-Laden Captive!(母函数)
    LeetCode228:Summary Ranges
    android adb端口被占用解决方法
    TortoiseSVN比较工具设置为BeyondCompare 4
    Kotlin Android学习入门
    Android Studio中 ADB WIFI插件进行无线调试实践
    如何离线安装chrome插件
    Androoid studio 2.3 AAPT err(Facade for 596378712): \?C:Users中文文件夹.androiduild-cache
  • 原文地址:https://www.cnblogs.com/kuang17/p/15763481.html
Copyright © 2011-2022 走看看