zoukankan      html  css  js  c++  java

  • 【Linux 内核网络协议栈源码剖析】af_inet.c——INET Socket层（2）


    http://blog.csdn.net/wenqian1991/article/details/46551099


    前篇 socket.c 介绍的是BSD socket 层的函数。应用系统的函数调用如socket、bind、listen、accept、connect 等函数，将通过共同的入口函数 sys_socket 调用BSD socket层的对应系统调用函数，如sock_socket、sock_bind、sock_listen、sock_accept、sock_connect 等函数（socket.c）。从前面分析得知， sock_ 函数内部又将调用下一层的函数实现，而这些下层函数就是 af_inet.c 文件中定义的函数，我们把该层取名为 INET 层。INET 的下一层即为传输层：tcp 和 udp

    源码位置 netinetaf_inet.c

    BSD socket层对应的套接字结构是 socket 结构，这是一个通用的套接字结构，INET socket 层则使用的是 sock 结构，这是一个比 socket 更复杂的结构，具体到某种协议，一个通用，一个是具体。该结构比较庞大，我们就在函数内部对涉及到的 sock 结构变量分析算了。

    这里从af_inet.c 文件的开头函数逐个分析.介绍函数有点多，主流函数部分额外标红。

    1、检测一个端口号是否已被使用

    [cpp] view plain copy print?
    1. /* 
    2.  *  See if a socket number is in use. 
    3.  */  
    4.  //用于检测一个端口号是否已被使用  
    5.  //prot表示传输层操作函数集的一个结构，每个传输层协议都有一个proto结构对应  
    6.  //所有使用某种协议的套接字均被插入到sock_array数组中元素指向的sock结构链表中  
    7.  //256个链表至多存放65535个套接字，有点类似哈希表结构  
    8. static int sk_inuse(struct proto *prot, int num)  
    9. {  
    10.     struct sock *sk;  
    11.     //用端口号寻址对应proto结构中sock_array所对应元素所指的链表，然后遍历  
    12.     //该链表中所有sock结构，检查sock结构num字段与参数num值是否相同  
    13.     for(sk = prot->sock_array[num & (SOCK_ARRAY_SIZE -1 )];  
    14.         sk != NULL;  sk=sk->next)   
    15.     {  
    16.         if (sk->num == num)   
    17.             return(1);  
    18.     }  
    19.     //sock_array数组中存放的是链表，对于不同的协议使用相同的端口号不会引起任何问题  
    20.     return(0);  
    21. }  
    一定要清楚 sock_array 这个数据结构，可以把其看做是一个哈希表（不知道哈希表的，自行面壁，点此），这里是分离链接散列表。所有的在用的 sock 结构都挂载在这里面

    2、获取一个新的未使用端口号

    [cpp] view plain copy print?
    1. /* 
    2.  *  Pick a new socket number 
    3.  */  
    4.  //获取一个新的未使用端口号  
    5.  //prot表示所使用的协议，base表示最小起始端口号  
    6. unsigned short get_new_socknum(struct proto *prot, unsigned short base)  
    7. {  
    8.     static int start=0;  
    9.   
    10.     /* 
    11.      * Used to cycle through the port numbers so the 
    12.      * chances of a confused connection drop. 
    13.      */  
    14.        
    15.     int i, j;  
    16.     int best = 0;  
    17.     int size = 32767; /* a big num. */  
    18.     struct sock *sk;  
    19.     //1024之下的端口号被保留，或者必须使用特权才能使用  
    20.     if (base == 0)   
    21.         base = PROT_SOCK+1+(start % 1024);  
    22.     if (base <= PROT_SOCK)   
    23.     {  
    24.         base += PROT_SOCK+(start % 1024);  
    25.     }  
    26.   
    27.     /* Now look through the entire array and try to find an empty ptr. */  
    28.     for(i=0; i < SOCK_ARRAY_SIZE; i++)   
    29.     {  
    30.         j = 0;  
    31.         sk = prot->sock_array[(i+base+1) &(SOCK_ARRAY_SIZE -1)];  
    32.         while(sk != NULL)   
    33.         {  
    34.             sk = sk->next;  
    35.             j++;  
    36.         }  
    37.         if (j == 0) //该链表尚未使用，可直接返回，端口计算即获取当前端口号  
    38.         {  
    39.             start =(i+1+start )%1024;  
    40.             return(i+base+1);  
    41.         }  
    42.         if (j < size) //否则取有效的j值最小的表项  
    43.         {  
    44.             best = i;  
    45.             size = j;  
    46.         }  
    47.     }  
    48.   
    49.     /* Now make sure the one we want is not in use. */  
    50.     while(sk_inuse(prot, base +best+1))   
    51.     {  
    52.         best += SOCK_ARRAY_SIZE;  
    53.     }  
    54.     return(best+base+1);  
    55. }  


    3、将具有确定端口号的新 sock 结构加入到sock_array 中
    [cpp] view plain copy print?
    1. /* 
    2.  *  Add a socket into the socket tables by number. 
    3.  */  
    4.  //将具有确定端口号的新sock结构加入到sock_array数组表示的sock结构链表中  
    5. void put_sock(unsigned short num, struct sock *sk)  
    6. {  
    7.     struct sock *sk1;  
    8.     struct sock *sk2;  
    9.     int mask;  
    10.     unsigned long flags;  
    11.   
    12.     sk->num = num;//本地端口号  
    13.     sk->next = NULL;  
    14.     num = num &(SOCK_ARRAY_SIZE -1);  
    15.   
    16.     /* We can't have an interrupt re-enter here. */  
    17.     save_flags(flags);//保存标志  
    18.     cli();  
    19.   
    20.     sk->prot->inuse += 1;//当前使用的套接字总数+1  
    21.     //如果大于最大值，就用最大值取代  
    22.     if (sk->prot->highestinuse < sk->prot->inuse)  
    23.         sk->prot->highestinuse = sk->prot->inuse;  
    24.   
    25.     //如果该端口号对应的sock结构不存在，则插入，然后恢复标志等信息  
    26.     if (sk->prot->sock_array[num] == NULL)   
    27.     {  
    28.         sk->prot->sock_array[num] = sk;  
    29.         restore_flags(flags);  
    30.         return;  
    31.     }  
    32.     //如果已经存在  
    33.     restore_flags(flags);  
    34.     //估计本地地址子网反掩码,mask掩码，saddr本地地址  
    35.     for(mask = 0xff000000; mask != 0xffffffff; mask = (mask >> 8) | mask)   
    36.     {  
    37.         if ((mask & sk->saddr) &&  
    38.             (mask & sk->saddr) != (mask & 0xffffffff))   
    39.         {  
    40.             mask = mask << 8;  
    41.             break;  
    42.         }  
    43.     }  
    44.     cli();  
    45.     //使用本地地址掩码进行地址排列  
    46.     sk1 = sk->prot->sock_array[num];  
    47.     for(sk2 = sk1; sk2 != NULL; sk2=sk2->next)   
    48.     {  
    49.         if (!(sk2->saddr & mask))   
    50.         {  
    51.             if (sk2 == sk1)   
    52.             {  
    53.                 sk->next = sk->prot->sock_array[num];  
    54.                 sk->prot->sock_array[num] = sk;  
    55.                 sti();  
    56.                 return;  
    57.             }  
    58.             sk->next = sk2;  
    59.             sk1->next= sk;  
    60.             sti();  
    61.             return;  
    62.         }  
    63.         sk1 = sk2;  
    64.     }  
    65.   
    66.     /* Goes at the end. */  
    67.     sk->next = NULL;  
    68.     sk1->next = sk;  
    69.     sti();  
    70. }  

    4、从sock_array 中移除一个指定 sock 结构
    [cpp] view plain copy print?
    1. /* 
    2.  *  Remove a socket from the socket tables. 
    3.  */  
    4. //移除一个指定sock结构  
    5. static void remove_sock(struct sock *sk1)  
    6. {  
    7.     struct sock *sk2;  
    8.     unsigned long flags;  
    9.   
    10.     if (!sk1->prot)   
    11.     {  
    12.         printk("sock.c: remove_sock: sk1->prot == NULL ");  
    13.         return;  
    14.     }  
    15.   
    16.     /* We can't have this changing out from under us. */  
    17.     save_flags(flags);  
    18.     cli();  
    19.     //sock_array可以看做是一个哈希表结构，清楚这个，就很容易理解其内部关系了  
    20.     //数据结构是骨架，所以阅读源码的时候，要清楚其采用的是什么结构思想  
    21.     //首先定位到哈希表数组索引  
    22.     sk2 = sk1->prot->sock_array[sk1->num &(SOCK_ARRAY_SIZE -1)];  
    23.     if (sk2 == sk1)//如果第一个恰好是要移除的   
    24.     {  
    25.         sk1->prot->inuse -= 1;//当前使用数-1  
    26.         //就指向下一个  
    27.         sk1->prot->sock_array[sk1->num &(SOCK_ARRAY_SIZE -1)] = sk1->next;  
    28.         restore_flags(flags);  
    29.         return;  
    30.     }  
    31.     //不是第一个就查找链表  
    32.     while(sk2 && sk2->next != sk1)   
    33.     {  
    34.         sk2 = sk2->next;  
    35.     }  
    36.     //查找成功  
    37.     if (sk2)   
    38.     {  
    39.         sk1->prot->inuse -= 1;  
    40.         sk2->next = sk1->next;//可以看出，这里只是将其从链表中移除，其实体结构还是存在的  
    41.         restore_flags(flags);  
    42.         return;  
    43.     }  
    44.     restore_flags(flags);//恢复现场  
    45. }  

    5、销毁一个套接字。INET 域对应的套接字说的就是 sock 结构
    [cpp] view plain copy print?
    1. /* 
    2.  *  Destroy an AF_INET socket 
    3.  */  
    4.  //这里就是真正意义上的销毁一个套接字了  
    5.  //先清空该套接字各个队列中缓存数据包的释放操作，然后再释放sock结构  
    6. void destroy_sock(struct sock *sk)  
    7. {  
    8.     struct sk_buff *skb;  
    9.   
    10.     sk->inuse = 1;           /* just to be safe. */  
    11.   
    12.     /* In case it's sleeping somewhere. */  
    13.     //检查dead标志位，如果置1，表示已经被销毁  
    14.     if (!sk->dead)   
    15.         sk->write_space(sk);  
    16.     //先从其对应链表中移除  
    17.     remove_sock(sk);  
    18.     
    19.     /* 将sock结构中各定时器从相应链表中移除 */  
    20.     delete_timer(sk);  
    21.     /* Nor send them */  
    22.     del_timer(&sk->retransmit_timer);  
    23.   
    24.     //释放partial指针指向的数据包  
    25.     while ((skb = tcp_dequeue_partial(sk)) != NULL) {  
    26.         IS_SKB(skb);  
    27.         kfree_skb(skb, FREE_WRITE);  
    28.     }  
    29.   
    30.     /* 清空写队列. */  
    31.     while((skb = skb_dequeue(&sk->write_queue)) != NULL) {  
    32.         IS_SKB(skb);  
    33.         kfree_skb(skb, FREE_WRITE);  
    34.     }  
    35.       
    36.     /* 
    37.      *  Don't discard received data until the user side kills its 
    38.      *  half of the socket. 
    39.      */  
    40.   
    41.     if (sk->dead)   
    42.     {  
    43.     //清空已缓存的待读取数据包  
    44.         while((skb=skb_dequeue(&sk->receive_queue))!=NULL)   
    45.         {  
    46.         /* 
    47.          * This will take care of closing sockets that were 
    48.          * listening and didn't accept everything. 
    49.          */  
    50.             if (skb->sk != NULL && skb->sk != sk)   
    51.             {  
    52.                 IS_SKB(skb);  
    53.                 skb->sk->dead = 1;  
    54.                 skb->sk->prot->close(skb->sk, 0);  
    55.             }  
    56.             IS_SKB(skb);  
    57.             kfree_skb(skb, FREE_READ);  
    58.         }  
    59.     }     
    60.   
    61.     /* 清空重发队列中缓存的数据包. */  
    62.     cli();  
    63.     for(skb = sk->send_head; skb != NULL; )  
    64.     {  
    65.         struct sk_buff *skb2;  
    66.   
    67.         /* 
    68.          * We need to remove skb from the transmit queue, 
    69.          * or maybe the arp queue. 
    70.          */  
    71.         if (skb->next  && skb->prev) {  
    72. /*          printk("destroy_sock: unlinked skb ");*/  
    73.             IS_SKB(skb);  
    74.             skb_unlink(skb);  
    75.         }  
    76.         skb->dev = NULL;  
    77.         skb2 = skb->link3;  
    78.         kfree_skb(skb, FREE_WRITE);  
    79.         skb = skb2;  
    80.     }  
    81.     sk->send_head = NULL;  
    82.     sti();  
    83.   
    84.     /* 清空数据包接收缓存队列. */  
    85.     while((skb=skb_dequeue(&sk->back_log))!=NULL)   
    86.     {  
    87.         /* this should never happen. */  
    88. /*      printk("cleaning back_log ");*/  
    89.         kfree_skb(skb, FREE_READ);  
    90.     }  
    91.   
    92.     /* Now if it has a half accepted/ closed socket. */  
    93.     if (sk->pair)   
    94.     {  
    95.         sk->pair->dead = 1;  
    96.         sk->pair->prot->close(sk->pair, 0);  
    97.         sk->pair = NULL;  
    98.     }  
    99.   
    100.     /* 
    101.      * Now if everything is gone we can free the socket 
    102.      * structure, otherwise we need to keep it around until 
    103.      * everything is gone. 
    104.      */  
    105.      //确认前期各项缓冲区已经释放，则可以对sock结构本身进行释放  
    106.      //有木有发现，这跟销毁一个进程的步骤是类似的，这好比父进程收尸了  
    107.       if (sk->dead && sk->rmem_alloc == 0 && sk->wmem_alloc == 0)   
    108.       {  
    109.         kfree_s((void *)sk,sizeof(*sk));  
    110.       }   
    111.       //否则，设置定时器，等待其他进程释放其读写缓冲区后再进行sock结构的释放  
    112.       else   
    113.       {  
    114.         /* this should never happen. */  
    115.         /* actually it can if an ack has just been sent. */  
    116.         sk->destroy = 1;  
    117.         sk->ack_backlog = 0;  
    118.         sk->inuse = 0;  
    119.         reset_timer(sk, TIME_DESTROY, SOCK_DESTROY_TIME);  
    120.     }  
    121. }  

    6、用于设置和读取套接字的有关信息
    [cpp] view plain copy print?
    1. /* 
    2.  *  The routines beyond this point handle the behaviour of an AF_INET 
    3.  *  socket object. Mostly it punts to the subprotocols of IP to do 
    4.  *  the work. 
    5.  */  
    6.  //这个就是inet域，sock_fcntl调用的下层函数，同理，后面介绍的inet_前缀函数也是这样  
    7.  //sock->ops->fcntl(sock, cmd, arg)即调用该函数，BSD socket层调用INET socket层函数  
    8.  //用于设置或读取套接字的有关信息，这里是获得套接字的宿主  
    9. static int inet_fcntl(struct socket *sock, unsigned int cmd, unsigned long arg)  
    10. {  
    11.     struct sock *sk;  
    12.     //INET域，data指向sock结构。由BSD层socket 进入 INET层socket  
    13.     sk = (struct sock *) sock->data;  
    14.   
    15.     switch(cmd)   
    16.     {  
    17.         case F_SETOWN://设置  
    18.             /* 
    19.              * This is a little restrictive, but it's the only 
    20.              * way to make sure that you can't send a sigurg to 
    21.              * another process. 
    22.              */  
    23.              //需要超级用户权限  
    24.             if (!suser() && current->pgrp != -arg &&  
    25.                 current->pid != arg) return(-EPERM);  
    26.             sk->proc = arg;//该sock结构所属进程的进程号  
    27.             return(0);  
    28.         case F_GETOWN://读取  
    29.             return(sk->proc);  
    30.         default:  
    31.             return(-EINVAL);  
    32.     }  
    33. }  

    7、设置和读取选项。函数内部又将调用下一层函数
    [cpp] view plain copy print?
    1. /* 
    2.  *  Set socket options on an inet socket. 
    3.  */  
    4.  //设置选项  
    5. static int inet_setsockopt(struct socket *sock, int level, int optname,  
    6.             char *optval, int optlen)  
    7. {  
    8.     //INET域对应sock结构  
    9.     struct sock *sk = (struct sock *) sock->data;    
    10.     //这里根据选项的层次分别调用不同的下层函数  
    11.     if (level == SOL_SOCKET)//调用BSD层了  
    12.         return sock_setsockopt(sk,level,optname,optval,optlen);  
    13.     if (sk->prot->setsockopt==NULL)  
    14.         return(-EOPNOTSUPP);  
    15.     else//转传输层  
    16.         return sk->prot->setsockopt(sk,level,optname,optval,optlen);  
    17. }  
    18.   
    19. /* 
    20.  *  Get a socket option on an AF_INET socket. 
    21.  */  
    22.  //读取选项  
    23. static int inet_getsockopt(struct socket *sock, int level, int optname,  
    24.             char *optval, int *optlen)  
    25. {  
    26.     struct sock *sk = (struct sock *) sock->data;      
    27.     if (level == SOL_SOCKET)   
    28.         return sock_getsockopt(sk,level,optname,optval,optlen);  
    29.     if(sk->prot->getsockopt==NULL)      
    30.         return(-EOPNOTSUPP);  
    31.     else  
    32.         return sk->prot->getsockopt(sk,level,optname,optval,optlen);//调用下一层函数，INET 的下一层就是传输层  
    33. }  

    8、自动绑定本地端口
    [cpp] view plain copy print?
    1. /* 
    2.  *  Automatically bind an unbound socket. 
    3.  */  
    4.  //自动绑定一个本地端口号，一般用于客户端，实际应用层编程时，对于客户端我们并没有  
    5.  //特别去绑定某个端口号，而是由系统自动绑定  
    6. static int inet_autobind(struct sock *sk)  
    7. {  
    8.     /* We may need to bind the socket. */  
    9.     if (sk->num == 0)   
    10.     {  
    11.     //获取一个新的未使用的端口号  
    12.         sk->num = get_new_socknum(sk->prot, 0);  
    13.         if (sk->num == 0)   
    14.             return(-EAGAIN);  
    15.         put_sock(sk->num, sk);//加入到sock_array哈希表中  
    16.         //将一个无符号短整型数从网络字节顺序转换为主机字节顺序。大小端问题  
    17.         sk->dummy_th.source = ntohs(sk->num);//TCP首部中的source字段表示本地端口号  
    18.     }  
    19.     return 0;  
    20. }  


    9、监听客户端的请求，这是对应用编程 listen函数的描述。这个函数为BSD socket 层 sock_listen函数的下一层调用，可以看出主要就是对 sock 结构中state字段的设置

    listen -> sys_socket -> sock_listen -> inet_listen   完（完表示这个函数到这层就结束了）

    [cpp] view plain copy print?
    1. /* 
    2.  *  Move a socket into listening state. 
    3.  */  
    4.  //sock_listen的下层调用函数  
    5.  //这个函数主要是对sock结构中state字段的设置。listen函数到这层完成处理  
    6. static int inet_listen(struct socket *sock, int backlog)  
    7. {  
    8.     //获取sock数据结构  
    9.     struct sock *sk = (struct sock *) sock->data;  
    10.        //如果sock事先没有绑定端口号，则自动绑定一个端口号  
    11.     if(inet_autobind(sk)!=0)  
    12.         return -EAGAIN;  
    13.   
    14.     /* We might as well re use these. */   
    15.     /* 
    16.      * note that the backlog is "unsigned char", so truncate it 
    17.      * somewhere. We might as well truncate it to what everybody 
    18.      * else does.. 
    19.      */  
    20.      //等待的最大数  
    21.     if ((unsigned) backlog > 128)  
    22.         backlog = 128;  
    23.     sk->max_ack_backlog = backlog;//缓存的未应答数据包个数  
    24.     if (sk->state != TCP_LISTEN)//如果不是listen状态，则置位listen状态  
    25.     {  
    26.         sk->ack_backlog = 0;//缓存的个数置0  
    27.         sk->state = TCP_LISTEN;  
    28.     }  
    29.     return(0);  
    30. }  

    10、建立sock 结构。sock_socket 的下一层调用。

    socket -> sys_socket -> sock_socket -> inet_create 完

    [cpp] view plain copy print?
    1. /* 
    2.  *  Create an inet socket. 
    3.  * 
    4.  *  FIXME: Gcc would generate much better code if we set the parameters 
    5.  *  up in in-memory structure order. Gcc68K even more so 
    6.  */  
    7.  //该函数被上层sock_socket函数调用，用于创建一个socket套接字对应的sock结构并对其进行初始化  
    8.  //socket是通用结构，sock是具体到某种协议的结构  
    9.  //代码是一大串，功能就是建立套接字对应的sock结构并对其进行初始化  
    10. static int inet_create(struct socket *sock, int protocol)  
    11. {  
    12.     struct sock *sk;  
    13.     struct proto *prot;  
    14.     int err;  
    15.     //分配一个sock结构  
    16.     sk = (struct sock *) kmalloc(sizeof(*sk), GFP_KERNEL);  
    17.     if (sk == NULL)   
    18.         return(-ENOBUFS);  
    19.     sk->num = 0;//本地端口号  
    20.     sk->reuse = 0;  
    21.     //根据类型进行相关字段的赋值  
    22.     //关于哪种类型与协议的对应关系，请参考<UNP 卷1>  
    23.     switch(sock->type)   
    24.     {  
    25.         case SOCK_STREAM:  
    26.         case SOCK_SEQPACKET:  
    27.             if (protocol && protocol != IPPROTO_TCP)   
    28.             {  
    29.                 kfree_s((void *)sk, sizeof(*sk));  
    30.                 return(-EPROTONOSUPPORT);  
    31.             }  
    32.             protocol = IPPROTO_TCP;//tcp协议  
    33.             sk->no_check = TCP_NO_CHECK;  
    34.             //这个prot变量表明了套接字使用的是何种协议  
    35.             //然后使用的则是对应协议的操作函数  
    36.             prot = &tcp_prot;  
    37.             break;  
    38.   
    39.         case SOCK_DGRAM:  
    40.             if (protocol && protocol != IPPROTO_UDP)   
    41.             {  
    42.                 kfree_s((void *)sk, sizeof(*sk));  
    43.                 return(-EPROTONOSUPPORT);  
    44.             }  
    45.             protocol = IPPROTO_UDP;//udp协议  
    46.             sk->no_check = UDP_NO_CHECK;//不使用校验  
    47.             prot=&udp_prot;  
    48.             break;  
    49.         
    50.         case SOCK_RAW:  
    51.             if (!suser()) //超级用户才能处理  
    52.             {  
    53.                 kfree_s((void *)sk, sizeof(*sk));  
    54.                 return(-EPERM);  
    55.             }  
    56.             if (!protocol)// 原始套接字类型，这里表示端口号  
    57.             {  
    58.                 kfree_s((void *)sk, sizeof(*sk));  
    59.                 return(-EPROTONOSUPPORT);  
    60.             }  
    61.             prot = &raw_prot;  
    62.             sk->reuse = 1;  
    63.             sk->no_check = 0;    /* 
    64.                          * Doesn't matter no checksum is 
    65.                          * performed anyway. 
    66.                          */  
    67.             sk->num = protocol;//本地端口号  
    68.             break;  
    69.   
    70.         case SOCK_PACKET:  
    71.             if (!suser())   
    72.             {  
    73.                 kfree_s((void *)sk, sizeof(*sk));  
    74.                 return(-EPERM);  
    75.             }  
    76.             if (!protocol)   
    77.             {  
    78.                 kfree_s((void *)sk, sizeof(*sk));  
    79.                 return(-EPROTONOSUPPORT);  
    80.             }  
    81.             prot = &packet_prot;  
    82.             sk->reuse = 1;  
    83.             sk->no_check = 0;    /* Doesn't matter no checksum is 
    84.                          * performed anyway. 
    85.                          */  
    86.             sk->num = protocol;  
    87.             break;  
    88.   
    89.         default://不符合以上任何类型，则返回  
    90.             kfree_s((void *)sk, sizeof(*sk));  
    91.             return(-ESOCKTNOSUPPORT);  
    92.     }  
    93.     sk->socket = sock;//建立与其对应的socket之间的关系  
    94. #ifdef CONFIG_TCP_NAGLE_OFF  
    95.     sk->nonagle = 1;//如果定义了Nagle算法  
    96. #else      
    97.     sk->nonagle = 0;  
    98. #endif    
    99.     //各种初始化  
    100.     sk->type = sock->type;  
    101.     sk->stamp.tv_sec=0;  
    102.     sk->protocol = protocol;  
    103.     sk->wmem_alloc = 0;  
    104.     sk->rmem_alloc = 0;  
    105.     sk->sndbuf = SK_WMEM_MAX;  
    106.     sk->rcvbuf = SK_RMEM_MAX;  
    107.     sk->pair = NULL;  
    108.     sk->opt = NULL;  
    109.     sk->write_seq = 0;  
    110.     sk->acked_seq = 0;  
    111.     sk->copied_seq = 0;  
    112.     sk->fin_seq = 0;  
    113.     sk->urg_seq = 0;  
    114.     sk->urg_data = 0;  
    115.     sk->proc = 0;  
    116.     sk->rtt = 0;             /*TCP_WRITE_TIME << 3;*/  
    117.     sk->rto = TCP_TIMEOUT_INIT;      /*TCP_WRITE_TIME*/  
    118.     sk->mdev = 0;  
    119.     sk->backoff = 0;  
    120.     sk->packets_out = 0;  
    121.     sk->cong_window = 1; /* start with only sending one packet at a time. */  
    122.     sk->cong_count = 0;  
    123.     sk->ssthresh = 0;  
    124.     sk->max_window = 0;  
    125.     sk->urginline = 0;  
    126.     sk->intr = 0;  
    127.     sk->linger = 0;  
    128.     sk->destroy = 0;  
    129.     sk->priority = 1;  
    130.     sk->shutdown = 0;  
    131.     sk->keepopen = 0;  
    132.     sk->zapped = 0;  
    133.     sk->done = 0;  
    134.     sk->ack_backlog = 0;  
    135.     sk->window = 0;  
    136.     sk->bytes_rcv = 0;  
    137.     sk->state = TCP_CLOSE;  
    138.     sk->dead = 0;  
    139.     sk->ack_timed = 0;  
    140.     sk->partial = NULL;  
    141.     sk->user_mss = 0;  
    142.     sk->debug = 0;  
    143.   
    144.     /* this is how many unacked bytes we will accept for this socket.  */  
    145.     sk->max_unacked = 2048; /* needs to be at most 2 full packets. */  
    146.   
    147.     /* how many packets we should send before forcing an ack.  
    148.        if this is set to zero it is the same as sk->delay_acks = 0 */  
    149.     sk->max_ack_backlog = 0;  
    150.     sk->inuse = 0;  
    151.     sk->delay_acks = 0;  
    152.     skb_queue_head_init(&sk->write_queue);  
    153.     skb_queue_head_init(&sk->receive_queue);  
    154.     sk->mtu = 576;//最大传输单元  
    155.     sk->prot = prot;  
    156.     sk->sleep = sock->wait;  
    157.     sk->daddr = 0;//远端地址  
    158.     sk->saddr = 0 /* 本地地址 */;  
    159.     sk->err = 0;  
    160.     sk->next = NULL;  
    161.     sk->pair = NULL;  
    162.     sk->send_tail = NULL;  
    163.     sk->send_head = NULL;  
    164.     sk->timeout = 0;  
    165.     sk->broadcast = 0;  
    166.     sk->localroute = 0;  
    167.     init_timer(&sk->timer);  
    168.     init_timer(&sk->retransmit_timer);  
    169.     sk->timer.data = (unsigned long)sk;  
    170.     sk->timer.function = &net_timer;  
    171.     skb_queue_head_init(&sk->back_log);  
    172.     sk->blog = 0;  
    173.     sock->data =(void *) sk;  
    174.     sk->dummy_th.doff = sizeof(sk->dummy_th)/4;  
    175.     sk->dummy_th.res1=0;  
    176.     sk->dummy_th.res2=0;  
    177.     sk->dummy_th.urg_ptr = 0;  
    178.     sk->dummy_th.fin = 0;  
    179.     sk->dummy_th.syn = 0;  
    180.     sk->dummy_th.rst = 0;  
    181.     sk->dummy_th.psh = 0;  
    182.     sk->dummy_th.ack = 0;  
    183.     sk->dummy_th.urg = 0;  
    184.     sk->dummy_th.dest = 0;  
    185.     sk->ip_tos=0;  
    186.     sk->ip_ttl=64;  
    187. #ifdef CONFIG_IP_MULTICAST  
    188.     sk->ip_mc_loop=1;  
    189.     sk->ip_mc_ttl=1;  
    190.     *sk->ip_mc_name=0;  
    191.     sk->ip_mc_list=NULL;  
    192. #endif  
    193.       
    194.     sk->state_change = def_callback1;  
    195.     sk->data_ready = def_callback2;  
    196.     sk->write_space = def_callback3;  
    197.     sk->error_report = def_callback1;  
    198.   
    199.     if (sk->num) //如果分配了本地端口号  
    200.     {  
    201.     /* 
    202.      * It assumes that any protocol which allows 
    203.      * the user to assign a number at socket 
    204.      * creation time automatically 
    205.      * shares. 
    206.      */  
    207.      //对面前面已经有的注释的代码部分，以后将不再赘述注释  
    208.         put_sock(sk->num, sk);//参考前面注释吧  
    209.         sk->dummy_th.source = ntohs(sk->num);  
    210.     }  
    211.   
    212.     if (sk->prot->init) //调用init函数  
    213.     {  
    214.         err = sk->prot->init(sk);  
    215.         if (err != 0)   
    216.         {  
    217.             destroy_sock(sk);//出错了，就销毁  
    218.             return(err);  
    219.         }  
    220.     }  
    221.     return(0);  
    222. }  
    看到没，创建socket 时候，就只是分配file 结构，分配文件描述符，关联inode。完全没有涉及到任何协议，而创建 sock 则关联到协议了。所以socket 是一个通用结构，sock 则是一个具体的结构。网路协议栈层层封装，高内聚，低耦合，使得某层结构的变化不会影响到其余层，多好的设计啊


    11、复制一个套接字。服务器端用于实际通信的套接字与其监听套接字是不同的。oldsocket表示监听套接字结构，newsocket表示新创建的用于实际通信的套接字结构

    [cpp] view plain copy print?
    1. /* 
    2.  *  Duplicate a socket. 
    3.  */  
    4.  //复制一个套接字，内部实现很简单，就是转调用create。套接字的dup是这样，  
    5.  //那么其余文件描述符的dup也应该是这样  
    6. static int inet_dup(struct socket *newsock, struct socket *oldsock)  
    7. {  
    8.     return(inet_create(newsock,((struct sock *)(oldsock->data))->protocol));  
    9. }  

    12、对套接字状态的检测。套接字状态的迁移，参考前面博文：TCP状态转移
    [cpp] view plain copy print?
    1. /* 
    2.  * Return 1 if we still have things to send in our buffers. 
    3.  */  
    4.  //对套接字状态的检测  
    5. static inline int closing(struct sock * sk)  
    6. {  
    7.     switch (sk->state) {  
    8.         case TCP_FIN_WAIT1:  
    9.         case TCP_CLOSING:  
    10.         case TCP_LAST_ACK:  
    11.             return 1;//正在处于关闭状态  
    12.     }  
    13.     return 0;  
    14. }  

    13、inet_release 函数继续完成BSD 层sock_release函数，该函数的关闭操作部分将继续下调用close函数
    [cpp] view plain copy print?
    1. /* 
    2.  *  The peer socket should always be NULL (or else). When we call this 
    3.  *  function we are destroying the object and from then on nobody 
    4.  *  should refer to it. 
    5.  */  
    6.  //sock_release 调用的INET层函数，进一步完成套接字的关闭操作  
    7. static int inet_release(struct socket *sock, struct socket *peer)  
    8. {  
    9.     //获得对应 sock 结构  
    10.     struct sock *sk = (struct sock *) sock->data;  
    11.     if (sk == NULL)   
    12.         return(0);  
    13.     //通知相关进程套接字状态的变化  
    14.     sk->state_change(sk);  
    15.   
    16.     /* Start closing the connection.  This may take a while. */  
    17.   
    18. #ifdef CONFIG_IP_MULTICAST  
    19.     /* Applications forget to leave groups before exiting */  
    20.     //处理一个使用多播的套接字被关闭时对多播地址列表的处理  
    21.     ip_mc_drop_socket(sk);  
    22. #endif  
    23.     /* 
    24.      * If linger is set, we don't return until the close 
    25.      * is complete.  Other wise we return immediately. The 
    26.      * actually closing is done the same either way. 
    27.      * 
    28.      * If the close is due to the process exiting, we never 
    29.      * linger.. 
    30.      */  
    31.     //linger=1表示在关闭套接字时需要等待一段时间以确认其已关闭  
    32.     //=0，则直接返回  
    33.     if (sk->linger == 0 || (current->flags & PF_EXITING))  
    34.     {  
    35.         sk->prot->close(sk,0);//继续转  
    36.         sk->dead = 1;//表示套接字已释放  
    37.     }   
    38.     else//等待一段时间返回   
    39.     {  
    40.         sk->prot->close(sk, 0);  
    41.         cli();  
    42.         if (sk->lingertime)//等待关闭操作的时间，只有linger=1才有意义  
    43.             current->timeout = jiffies + HZ*sk->lingertime;//定时器确定时间  
    44.         //不断检测套接字状态。这个函数名closing取得真是...  
    45.         //为真的条件是正在处于关闭状态，并且未超时，closing 正在进行时态，所以，  
    46.         //closing函数的功能应该是判断是否处于正关闭状态  
    47.         while(closing(sk) && current->timeout>0)   
    48.         {  
    49.             interruptible_sleep_on(sk->sleep);//如果发生中断  
    50.             if (current->signal & ~current->blocked)   
    51.             {  
    52.                 break;  
    53. #if 0  
    54.                 /* not working now - closes can't be restarted */  
    55.                 sti();  
    56.                 current->timeout=0;  
    57.                 return(-ERESTARTSYS);  
    58. #endif  
    59.             }  
    60.         }  
    61.         current->timeout=0;//定时器清零  
    62.         sti();  
    63.         sk->dead = 1;//已释放  
    64.     }  
    65.     sk->inuse = 1;//设置字段，表示有进程(其实就是本进程)正在使用该sock结构，其余进程需等待，理解为加锁吧  
    66.   
    67.     /* 解除sock 与 socket之间的关系 */  
    68.     sock->data = NULL;  
    69.     release_sock(sk);//转调用函数  
    70.     sk->socket = NULL;  
    71.     return(0);  
    72. }  

    14、inet_bind 是sock_bind 调用的下层函数，完成本地地址绑定。如果没有具体制定地址和端口号，将由系统自动进行分配。

    bind -> sys_socket -> sock_bind -> inet_bind  完

    [cpp] view plain copy print?
    1. /* this needs to be changed to disallow 
    2.    the rebinding of sockets.   What error 
    3.    should it return? */  
    4. //完成本地地址绑定，本地地址绑定包括IP地址和端口号两个部分  
    5. static int inet_bind(struct socket *sock, struct sockaddr *uaddr,  
    6.            int addr_len)  
    7. {  
    8.     struct sockaddr_in *addr=(struct sockaddr_in *)uaddr;  
    9.     struct sock *sk=(struct sock *)sock->data, *sk2;  
    10.     unsigned short snum = 0 /* Stoopid compiler.. this IS ok */;  
    11.     int chk_addr_ret;  
    12.   
    13.     /* check this error. */  
    14.     //在进行地址绑定时，该套接字应该处于关闭状态  
    15.     if (sk->state != TCP_CLOSE)  
    16.         return(-EIO);  
    17.     //地址长度字段校验  
    18.     if(addr_len<sizeof(struct sockaddr_in))  
    19.         return -EINVAL;  
    20.   
    21.     //非原始套接字类型，绑定前，没有端口号  
    22.     if(sock->type != SOCK_RAW)  
    23.     {  
    24.         if (sk->num != 0)   
    25.             return(-EINVAL);  
    26.   
    27.         snum = ntohs(addr->sin_port);//将地址结构中的端口号转为主机字节顺序  
    28.   
    29.         /* 
    30.          * We can't just leave the socket bound wherever it is, it might 
    31.          * be bound to a privileged port. However, since there seems to 
    32.          * be a bug here, we will leave it if the port is not privileged. 
    33.          */  
    34.          //如果端口号为0，则自动分配一个  
    35.         if (snum == 0)   
    36.         {  
    37.             snum = get_new_socknum(sk->prot, 0);//得到一个新的端口号  
    38.         }  
    39.         //端口号有效性检验，1024以上，超级用户权限  
    40.         if (snum < PROT_SOCK && !suser())   
    41.             return(-EACCES);  
    42.     }  
    43.     //检查地址是否是一个本地接口地址  
    44.     chk_addr_ret = ip_chk_addr(addr->sin_addr.s_addr);  
    45.     //如果指定的地址不是本地地址，并且也不是一个多播地址，则错误返回  
    46.     if (addr->sin_addr.s_addr != 0 && chk_addr_ret != IS_MYADDR && chk_addr_ret != IS_MULTICAST)  
    47.         return(-EADDRNOTAVAIL); /* Source address MUST be ours! */  
    48.     //如果没有指定地址，则系统自动分配一个本地地址      
    49.     if (chk_addr_ret || addr->sin_addr.s_addr == 0)  
    50.         sk->saddr = addr->sin_addr.s_addr;  
    51.       
    52.     if(sock->type != SOCK_RAW)  
    53.     {  
    54.         /* Make sure we are allowed to bind here. */  
    55.         cli();  
    56.       
    57.         //for循环主要是检查检查有无冲突的端口号，有冲突，但不允许地址复用，肯定错误退出  
    58.         //成功跳出for循环时，已经定位到了哈希表sock_array指定索引的链表的末端  
    59.         for(sk2 = sk->prot->sock_array[snum & (SOCK_ARRAY_SIZE -1)];  
    60.                     sk2 != NULL; sk2 = sk2->next)   
    61.         {  
    62.         /* should be below! */  
    63.             if (sk2->num != snum) //没有重复，继续搜索下一个  
    64.                 continue;//除非有重复，否则后面的代码将不会被执行  
    65.             if (!sk->reuse)//端口号重复，如果没有设置地址复用标志，退出  
    66.             {  
    67.                 sti();  
    68.                 return(-EADDRINUSE);  
    69.             }  
    70.               
    71.             if (sk2->num != snum)   
    72.                 continue;       /* more than one */  
    73.             if (sk2->saddr != sk->saddr) //地址和端口一个意思  
    74.                 continue;   /* socket per slot ! -FB */  
    75.             //如果状态是LISTEN表明该套接字是一个服务端，服务端不可使用地址复用选项  
    76.             if (!sk2->reuse || sk2->state==TCP_LISTEN)   
    77.             {  
    78.                 sti();  
    79.                 return(-EADDRINUSE);  
    80.             }  
    81.         }  
    82.         sti();  
    83.   
    84.         remove_sock(sk);//将sk sock结构从其之前的表中删除  
    85.         put_sock(snum, sk);//然后根据新分配的端口号插入到新的表中。说明系统在维护许多这样的表  
    86.         sk->dummy_th.source = ntohs(sk->num);//tcp首部，本地地址，端口初始化  
    87.         sk->daddr = 0;//sock结构所代表套接字的远端地址  
    88.         sk->dummy_th.dest = 0;//tcp首部，远端地址  
    89.     }  
    90.     return(0);  
    91. }  

    15、connect -> sys_socket -> sock_connect -> inet_connect -> ...，同上面inet_bind 一样，继续完成未完成的使命。该函数涉及到 tcp 的三次握手

    从这个函数我们可以得知。客户端自动绑定端口发生在connect函数中(inet_connect)，也可以看到tcp 三次握手的状态迁移

    connect -> sys_socket -> sock_connect -> inet_connect ->  connect（下层传输层函数，对于tcp协议则是调用 tcp_connect）

    [cpp] view plain copy print?
    1. /* 
    2.  *  Connect to a remote host. There is regrettably still a little 
    3.  *  TCP 'magic' in here. 
    4.  */  
    5.  //完成套接字的连接请求操作，这是客户端主动向服务器端发送请求  
    6. static int inet_connect(struct socket *sock, struct sockaddr * uaddr,  
    7.           int addr_len, int flags)  
    8. {  
    9.     struct sock *sk=(struct sock *)sock->data;  
    10.     int err;  
    11.     sock->conn = NULL;  
    12.     //如果处于正在连接过程中，且tcp对应的状态  
    13.     if (sock->state == SS_CONNECTING && tcp_connected(sk->state))  
    14.     {  
    15.         sock->state = SS_CONNECTED;//直接设置字段为已经连接  
    16.         /* Connection completing after a connect/EINPROGRESS/select/connect */  
    17.         return 0;   /* Rock and roll */  
    18.     }  
    19.     //如果正在连接过程中，且是tcp协议  
    20.     if (sock->state == SS_CONNECTING && sk->protocol == IPPROTO_TCP && (flags & O_NONBLOCK)) {  
    21.         if (sk->err != 0)  
    22.         {  
    23.             err=sk->err;  
    24.             sk->err=0;  
    25.             return -err;  
    26.         }  
    27.         //返回正在进行状态  
    28.         return -EALREADY;   /* Connecting is currently in progress */  
    29.     }  
    30.     //没有连接  
    31.     if (sock->state != SS_CONNECTING)   
    32.     {  
    33.         /* We may need to bind the socket. */  
    34.         if(inet_autobind(sk)!=0)//自动绑定一个端口号，客户端自动绑定端口号是在connect函数中实现的  
    35.             return(-EAGAIN);  
    36.         if (sk->prot->connect == NULL) //不支持该项操作，没有指定操作函数  
    37.             return(-EOPNOTSUPP);  
    38.         //转调用connect函数  
    39.         err = sk->prot->connect(sk, (struct sockaddr_in *)uaddr, addr_len);  
    40.         if (err < 0)   
    41.             return(err);  
    42.         sock->state = SS_CONNECTING;//设置状态字段，表示正在连接过程中  
    43.     }  
    44.     //这个状态下，这是关闭信号。各个状态描述，参考下面链接  
    45.     http://blog.csdn.net/wenqian1991/article/details/40110703  
    46.     if (sk->state > TCP_FIN_WAIT2 && sock->state==SS_CONNECTING)  
    47.     {  
    48.         sock->state=SS_UNCONNECTED;  
    49.         cli();  
    50.         err=sk->err;  
    51.         sk->err=0;  
    52.         sti();  
    53.         return -err;  
    54.     }  
    55.     //没有建立，就是在正在建立的路上  
    56.     if (sk->state != TCP_ESTABLISHED &&(flags & O_NONBLOCK))   
    57.         return(-EINPROGRESS);//过程正在处理  
    58.   
    59.     cli(); /* avoid the race condition */  
    60.     //等待上面的下层函数返回  
    61.     while(sk->state == TCP_SYN_SENT || sk->state == TCP_SYN_RECV)   
    62.     {  
    63.         interruptible_sleep_on(sk->sleep);  
    64.         if (current->signal & ~current->blocked)   
    65.         {  
    66.             sti();  
    67.             return(-ERESTARTSYS);  
    68.         }  
    69.         /* This fixes a nasty in the tcp/ip code. There is a hideous hassle with 
    70.            icmp error packets wanting to close a tcp or udp socket. */  
    71.         if(sk->err && sk->protocol == IPPROTO_TCP)  
    72.         {  
    73.             sti();  
    74.             sock->state = SS_UNCONNECTED;  
    75.             err = -sk->err;  
    76.             sk->err=0;  
    77.             return err; /* set by tcp_err() */  
    78.         }  
    79.     }  
    80.     sti();  
    81.     sock->state = SS_CONNECTED;//成功建立连接  
    82.   
    83.     if (sk->state != TCP_ESTABLISHED && sk->err)   
    84.     {  
    85.         sock->state = SS_UNCONNECTED;  
    86.         err=sk->err;  
    87.         sk->err=0;  
    88.         return(-err);  
    89.     }  
    90.     return(0);  
    91. }  

    16、inet_accept。sock_accept 在调用 inet_accpet 函数之前已经使用 inet_dup 函数创建了其对应的 sock 结构，newsock 的data字段已经指向了其对应的 sock 结构。inet_dup 调用 inet_create，创建了和原来的 sock 结构，协议，类型一致的 sock 结构。

    该 inet_connect 内部又将调用下层函数，学习内核网络协议栈，救的习惯这种时不时调用下层函数的伎俩。

    accept -> sys_socket -> sock_accpet -> inet_accpet -> accept（下层函数）

    [cpp] view plain copy print?
    1. /* 
    2.  *  Accept a pending connection. The TCP layer now gives BSD semantics. 
    3.  */  
    4. //先去看看sock_accept，看看各个参数的意思，newsock是dup sock后的新sock  
    5. //sock为监听套接字，newsock为连接成功后实际用于通信的sock  
    6. static int inet_accept(struct socket *sock, struct socket *newsock, int flags)  
    7. {  
    8.     struct sock *sk1, *sk2;  
    9.     int err;  
    10.   
    11.     sk1 = (struct sock *) sock->data;  
    12.   
    13.     /* 
    14.      * We've been passed an extra socket. 
    15.      * We need to free it up because the tcp module creates 
    16.      * its own when it accepts one. 
    17.      */  
    18.      //如果sock->data 已经指向了对应的sock结构，则把它销毁  
    19.      //销毁旧的，后面指向新的accept后的  
    20.     if (newsock->data)  
    21.     {  
    22.         struct sock *sk=(struct sock *)newsock->data;  
    23.         newsock->data=NULL;  
    24.         sk->dead = 1;  
    25.         destroy_sock(sk);  
    26.     }  
    27.     
    28.     if (sk1->prot->accept == NULL) //算了，懒得写了  
    29.         return(-EOPNOTSUPP);  
    30.   
    31.     /* Restore the state if we have been interrupted, and then returned. */  
    32.     //如果套接字在等待连接的过程中被中断，则监听套接字与中断的套接字关联，下次优先处理该套接字  
    33.     if (sk1->pair != NULL )   
    34.     {  
    35.         sk2 = sk1->pair;  
    36.         sk1->pair = NULL;  
    37.     }   
    38.     else  
    39.     {  
    40.         sk2 = sk1->prot->accept(sk1,flags);//交给下层处理函数  
    41.         if (sk2 == NULL)   
    42.         {  
    43.             if (sk1->err <= 0)  
    44.                 printk("Warning sock.c:sk1->err <= 0.  Returning non-error. ");  
    45.             err=sk1->err;  
    46.             sk1->err=0;  
    47.             return(-err);  
    48.         }  
    49.     }  
    50.     //socket sock建立关联  
    51.     newsock->data = (void *)sk2;//指向新的  
    52.     sk2->sleep = newsock->wait;  
    53.     sk2->socket = newsock;  
    54.     newsock->conn = NULL;//还没有连接客户端，这里是没有连接对端套接字，调用该函数的是服务器端  
    55.     if (flags & O_NONBLOCK)   
    56.         return(0);  
    57.   
    58.     cli(); /* avoid the race. */  
    59.     //三次握手中间过程，tcp SYN序列号接收  
    60.     while(sk2->state == TCP_SYN_RECV)   
    61.     {  
    62.     //被中断了  
    63.         interruptible_sleep_on(sk2->sleep);  
    64.         if (current->signal & ~current->blocked)   
    65.         {  
    66.             sti();  
    67.             sk1->pair = sk2;//存入pair，下次优先处理  
    68.             sk2->sleep = NULL;  
    69.             sk2->socket=NULL;  
    70.             newsock->data = NULL;  
    71.             return(-ERESTARTSYS);  
    72.         }  
    73.     }  
    74.     sti();  
    75.     //连接失败，三次握手失败  
    76.     if (sk2->state != TCP_ESTABLISHED && sk2->err > 0)   
    77.     {  
    78.         err = -sk2->err;  
    79.         sk2->err=0;  
    80.         sk2->dead=1; /* ANK */  
    81.         destroy_sock(sk2);//销毁新建的sock结构  
    82.         newsock->data = NULL;  
    83.         return(err);  
    84.     }  
    85.     newsock->state = SS_CONNECTED;//已经建立了连接  
    86.     return(0);  
    87. }  

    算了，篇幅已经够大了，几个主流函数已经介绍完了，其余就不做介绍了.

    af_inet.c 文件作为 INET 层处理函数定义文件，处理来自 BSD 层的请求，并在完成本层相应的检查工作后继续将请求发送给下层传输层函数进行具体的处理。该INET 层承BSD 层启传输层。

    参考资料：《Linux 内核网络栈源代码情景分析》，Linux kernel 1.2.13
  • 相关阅读:
    计算机基础学习路线路线详情：4步骤·5门课
    python课程体系是怎么样的?
    老猿学5G扫盲贴：中国移动5G融合计费漫游计费架构和路由方案
    老猿学5G扫盲贴：中国移动网络侧CHF主要功能及计费处理的主要过程
    moviepy音视频剪辑：moviepy中的剪辑相关类及关系
    老猿学5G扫盲贴：与用户和终端相关的名词UE、SUPI、GPSI、PEI
    PyQt+moviepy音视频剪辑实战文章目录
    PyQt+moviepy音视频剪辑实战2：一个剪裁视频文件精华内容留存工具的实现
    PyQt+moviepy音视频剪辑实战2：实现一个剪裁视频文件精华内容留存工具
    PyQt+moviepy音视频剪辑实战1：多个音视频合成顺序播放或同屏播放的视频文件实现详解
  • 原文地址：https://www.cnblogs.com/ztguang/p/12645507.html
Copyright © 2011-2022 走看看