TCP拥塞控制算法内核实现剖析（十）

内核版本：3.2.12

主要源文件：linux-3.2.12/ net/ ipv4/ tcp_veno.c

主要内容：Veno的原理和实现

Author：zhangskd @ csdn blog

概要

Veno结合了Vegas和Reno，故得此名。

Veno的主要目的在于区分随机丢包和无线丢包。

Vegas能够测量网络瓶颈路由器中属于此连接的数据包个数，Veno正是利用这一变量来区分随机丢包和

拥塞丢包，并采取不同的措施。

Veno也改进了窗口增长函数，当网络瓶颈路由器中属于此连接的数据包个数超过一定值时，放缓窗口增长速度。

原理

我们通过3个问题来了解Veno的原理。

（1）如何区分随机丢包和拥塞丢包？

Vegas能够测量网络瓶颈路由器中属于此连接的数据包的个数diff，并以此来进行主动的拥塞控制，避免数据包的丢失。

Veno并不进行主动的拥塞控制，而是利用diff来区分随机丢包和拥塞丢包。

当检测到丢包时：

(1) diff < 3 ，说明此时路由器缓存的数据包不多，路由器很可能没有拥塞，所以判定此丢包为随机丢包。

      由于没有发生拥塞，所以拥塞窗口和阈值的减小幅度不宜太大。

      拥塞窗口和阈值设置为：0.8 * snd_cwnd。

(2) diff >= 3，说明此时路由器缓存的数据包较多，路由器很可能发生拥塞，所以判定此丢包为拥塞丢包。

      由于发生了拥塞，所以拥塞窗口和阈值的减小幅度需要适当加大。

      拥塞窗口和阈值设置为：0.5 * snd_cwnd。

（2）拥塞窗口增长函数的改进

(1) diff < 3，说明此时路由器缓存的数据包不多，采用和Reno相同的窗口增长函数，即每个RTT后cwnd增加一个数据包。

(2) diff >= 3，说明此时路由器缓存的数据包较多，不久之后可能发生拥塞，所以应该放缓窗口增长速度，

      这样就可以延迟拥塞事件的到来，使cwnd保持在接近网络容量处较长时间，从而达到减少拥塞丢包

      和增加网络带宽利用率的效果。

     在此期间，每两个RTT才使cwnd增加一个数据包，拥塞窗口增长速度减半。

（3）如何测量网络瓶颈路由器中属于此连接的数据包个数diff？

diiff的测量方法和Vegas中的相同，这里再简单描述下(具体可见前面blog)：

期望吞吐量：Expected = cwnd / baseRTT

实际吞吐量：Actual = cwnd / minRTT

吞吐量差值：Diff = Expected - Actual

其中，baseRTT代表当路由器缓存中没有数据包时的RTT值。minRTT为上个RTT的测量值，由于此时路由器中已有数据包，

需要排队，故minRTT > baseRTT。

网络瓶颈路由器中缓存此连接的数据包个数：

diff = Diff * baseRTT = (Expected - Actual) * baseRTT

参数和变量

#define V_PARAM_SHIFT 1
static const int beta = 3 << V_PARAM_SHIFT;

beta是一个阈值，表示网络瓶颈路由器中缓存的属于此连接的数据包的拥塞临界值。

/* Veno variables */

struct veno {
        /* 表示是否使用Veno，只有在Open态才能使用。*/
        u8 doing_veno_now; 

        /* 在Vegas中是表示上个RTT内得到的RTT样本的个数，但是在Veno中却没用到，
          * 形同虚设。
          */
        u16 cntrtt;

        /* 在Vegas中表示上个RTT内得到的RTT样本中的最小值，用于过滤delayed ACK，
          * 每个RTT才重置一次。而Veno却每个ACK重置一次，所以代表即时rtt。
          */
        u32 minrtt;

        /* 连接的最小RTT，代表propagation delay。只有在连接刚建立或者idle后才重置，
          * 在其它情况下实时更新。
          */
        u32 basertt;

        /* decide whether to increase cwnd，在拥塞避免阶段使用，当diff > 3时，在0和1转换，
          * 使cwnd两个RTT才加一。
          */
        u32 inc; 

        /* calculate the diff rate，计算网络瓶颈路由器中缓存的属于此连接的数据包的个数，
          * 是衡量网络是否处于拥塞状态的标准，从而判断丢包是随机丢包还是无线丢包，
          * 判断拥塞避免阶段是否应该放缓拥塞窗口增长速度。
          */
        u32 diff;
}

函数

/* There are several situations when we must "re-start" Veno:
 * (1) when a connection is establish
 * (2) after an RTO
 * (3) after fast recovery
 * (4) when we send a packet and there is no outstanding unacknowledged
 *       data (restarting an idle connection)
 */
static inline void veno_enable (struct sock *sk)
{
    struct veno *veno = inet_csk_ca(sk);

    /* turn on Veno */
    veno->doing_veno_now = 1;
    veno->minrtt = 0x7fffffff;
}

static inline void veno_disable (struct sock *sk)
{
    struct veno *veno = inet_csk_ca(sk);

    /* turn off Veno */
    veno->doing_veno_now = 0;
}

static void tcp_veno_init (struct sock *sk)
{
    struct veno *veno = inet_csk_ca(sk);

    veno->basertt = 0x7fffffff;
    veno->inc = 1;
    veno_enable(sk);
}

static void tcp_veno_state(struct sock *sk, u8 ca state)
{
    if (ca_state == TCP_CA_Open)
        veno_enable(sk);
    else
        veno_disable(sk);
}

static void tcp_veno_cwnd_event (struct sock *sk, enum tcp_ca_event event)
{
    if (event == CA_EVENT_CWND_RESTART || event == CA_EVENT_TX_START)
        tcp_veno_init(sk);
}

我们来看一下以上各个状态的转换：

（1）当连接刚建立时，触发CA_EVENT_TX_START事件，调用

          tcp_veno_cwnd_event(sk, CA_EVENT_TX_START)，其中又调用

          tcp_veno_init(sk)，做了以下事情：

          basertt = 0x7fffffff; /* 重置basertt */

          minrtt = 0x7fffffff; /* 重置minrtt */

          inc = 1;

          doing_veno_now = 1;

（2）从其它拥塞状态进入Open时，调用tcp_veno_state(sk, TCP_CA_Open)，

         又调用veno_enable(sk)，做了以下事情：

          doing_veno_now = 1; /* 表示使用veno，在非Open态置为0*/

          minrtt = 0x7fffffff; /* 重置minrtt */

（3）从Open态进入其它拥塞状态时，调用tcp_veno_state(sk, ca_state)，

          ca_state = TCP_CA_Recovery | TCP_CA_Loss，调用veno_disable(sk)，

          doing_veno_now = 0; 

          表示在Recovery或Loss等其它非Open状态不能使用Veno。

（4）闲置的连接重新开始传输数据，restarting an idle connection。

          触发了CA_EVENT_CWND_RESTART事件，调用

         tcp_veno_cwnd_event(sk, CA_EVENT_CWND_RESTART)，其中又调用

         tcp_veno_init(sk)，做的事情和（1）连接刚建立一样。 

tcp_veno_pkts_acked()在每收到ACK时调用，用于更新basertt和minrtt。

/* Do rtt sampling needed for Veno. */
static void tcp_veno_pkts_acked (struct sock *sk, u32 cnt, s32 rtt_us)
{
    struct veno *veno = inet_csk_ca(sk);
    u32 vrtt;

    if (rtt_us < 0)
        return;

    /* Never allow zero rtt or baseRTT */
    vrtt = rtt_us + 1;

    /* Filter to find propagation delay : */
    if (vrtt < veno->basertt)
        veno->basertt = vrtt;

    /* 和vegas的不一样，minrtt并不是上个RTT内的最小采样值，而是即时的rtt，
      * 因为每处理一个ACK后，minrtt都置为0x7fffffff。
      */
    veno->minrtt = min(veno->minrtt, vrtt);

    /* 这个cntrtt形同虚设，因为它根本没清零重置过。*/
    veno->cntrtt ++;
}

tcp_veno_cong_avoid()为核心函数，主要用于计算diff、根据窗口增长函数调整cwnd。

static void tcp_veno_cong_avoid (struct sock *sk, u32 ack, u32 in_flight)
{
    struct tcp_sock *tp = tcp_sk(sk);
    struct veno *veno = inet_csk_ca(sk);

    /* 只允许在Open态使用veno，计算diff和调整cwnd。*/
    if (! veno->doing_veno_now) {
        tcp_reno_cong_avoid(sk, ack, in_flight);
        return;
    }

    /* limited by applications */
    if (! tcp_is_cwnd_limited(sk, in_flight))
        return;

    /* 既然cntrtt没清零过，这个判断式毫无意义。*/
    if (veno->cntrtt <= 2) {
        tcp_reno_cong_avoid(sk, ack, in_flight);

    } else {
        u64 target_cwnd;
        u32 rtt;

        rtt = veno->minrtt;

        target_cwnd = tp->snd_cwnd * veno->basertt;
        target_cwnd <<= V_PARAM_SHIFT;
        do_div(target_cwnd, rtt);

        /* 跟Vegas中diff的计算一样，只是这里乘2 */
        veno->diff = (tp->snd_cwnd << V_PARAM_SHIFT) - target_cwnd;

        /* 处于慢启动阶段*/
        if (tp->snd_cwnd <= tp->snd_ssthresh) {
            tcp_slow_start(tp);

        } else { /* 处于拥塞避免阶段 */
            /* In the non-congestive state, increase cwnd every rtt。判断网络不处于拥塞，
               * 则cwnd的增长和Reno一样。
               */
            if (veno->diff < beta) {
                tcp_cong_avoid_ai(tp, tp->snd_cwnd);

            } else {
                /* In the congestive state, increasse cwnd every other rtt.
                 * 判断网络拥塞，则每两个RTT才使cwnd增加一个。
                    */
                if (tp->snd_cwnd_cnt >= tp->snd_cwnd) {
                    if (veno->inc && tp->snd_cwnd < tp->snd_cwnd_clamp) {
                        tp->snd_cwnd++;
                        veno->inc = 0;
                    } else
                        veno->inc = 1;
                    tp->snd_cwnd_cnt = 0;
                } else
                    tp->snd_cwnd_cnt++;
            }
        }
        if (tp->snd_cwnd < 2)
            tp->snd_cwnd = 2;
        else if (tp->snd_cwnd > tp->snd_cwnd_clamp)
            tp->snd_cwnd = tp->snd_cwnd_clamp;
    }

    /* 重置minrtt，所以minrtt是每个ACK的RTT测量值*/
    veno->minrtt = 0x7fffffff;
}

丢包后重新设置慢启动阈值，这就是区分随机丢包和拥塞丢包的函数。

static u32 tcp_veno_ssthresh (struct sock *sk)
{
    const struct tcp_sock *tp = tcp_sk(sk);
    struct veno *veno = inet_csk_ca(sk);

    /* in non-congestive state, cut cwnd by 1/5，如果判断为随机丢包，那么慢启动
     * 阈值的减小幅度为0.2。
     */
    if (veno->diff < beta)
        return max(tp->snd_cwnd * 4 / 5, 2U);
    else
        /* in congestive state, cut cwnd by 1/2，如果判断为拥塞丢包，那么慢启动阈值
          * 的减小幅度为0.5。
          */
         return max(tp->snd_cwnd >> 1U, 2U);
}

笔者评价

在Vegas中，diff是每个RTT后才计算一次的，因为其中的minrtt的取值是上个RTT内的最小采样值。

这样做得好处是：由于minrtt是多个样本中的最小值，所以可以避免一些异常的RTT样本，比如

delayed ACK。minrtt能代表一段时间内的网络瓶颈路由器的情况，计算得到的diff会更准确一些。

在Veno中，diff是每收到一个ACK计算一次的，因为其中的minrtt的取值是本次ACK的RTT测量值。

这样一来，diff的值可能会有偏差。

这两种方法的区别在于对diff准确性和检测及时性的权衡。

Vegas注重于diff的准确性，所以用一个RTT的时间来测量。

Veno注重于检测的及时性，对每个ACK都做diff计算，为了更及时的检测到网络拥塞。

因为以上原因，Veno可能会出现误判，比如一个ACK的RTT值偏大，却不是由于路由器拥塞，

但是计算得到的diff可能会判定路由器拥塞，这样一些随机丢包可能会被判定成拥塞丢包。

veno在随机丢包率较高的无线网络中有较好的表现。

veno能够区分随机丢包和拥塞丢包，因此避免了随机丢包时不必要的降低吞吐量。

veno改进了窗口增长函数，试图使cwnd停留在接近网络容量处较长时间，延迟丢包事件的到来，

这样不仅能减少丢包，还能提高吞吐量。但实际上这也会导致veno的带宽竞争力变弱。

veno的不足：它对拥塞丢包的判断有着较高的准确率，但是对随机丢包的判断准确率不高，经常

把随机丢包判成拥塞丢包。所以它对随机丢包判断的准确率还有待提高。

此外，beta设为3纯粹是一个经验值，很多场合并不适用。