网络编程---笔记2

学习核心编程的第二章网络编程中遇到挺多的知识盲点，特此记录学习。

首先把网络杂乱无章的学习资料总结一下，特别是select模块的使用：

1. select代码详解，这篇博文是目前看过最详细的最容易理解的。其中，Readable list 中的socket 可以有3种可能状态，对这三种状态的轮询（循环）是关键。

　　在python中，select函数是一个对底层操作系统的直接访问的接口。它用来监控sockets、files和pipes，等待IO完成（Waiting for I/O completion）。当有可读、可写或是异常事件产生时，select可以很容易的监控到。运用轮询消息列表的方法实现“异步”的效果。

2. 同步与异步、阻塞与非阻塞概念的深入理解

• 阻塞，非阻塞：进程/线程要访问的数据是否就绪，进程/线程是否需要等待；

• 同步，异步：访问数据的方式，同步需要主动读写数据，在读写数据的过程中还是会阻塞；异步只需要I/O操作完成的通知，并不主动读写数据，由操作系统内核完成数据的读写。

  阻塞IO和非阻塞IO的区别：

  • 调用阻塞会一直阻塞住对应的进程直到操作完成
  • 非阻塞 IO在kernel还准备数据的情况下会立刻返回。

  同步IO和异步IO的区别：

  • 同步 IO做”IO 操作”的时候会将进程阻塞，阻塞IO、非阻塞IO、IO多路复用都是同步IO
  • 异步则不一样，当进程发起IO 操作之后，就直接返回再也不理睬了，直到kernel发送一个信号，告诉进程说IO完成。在这整个过程中，进程完全没有被阻塞。

　　同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)，站在调用方的角度：同步是主动等待，异步是被动接收或轮询；站在被调用方的角度：同步是请求未完成就啥也不干不返回，而异步则直接返回一个消息告诉请求方/调用方结果还没完成。

　　阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态，换言之两者的区别在于等待调用结果时当前线程是否被占用；

　　所谓同步，就是在发出一个*调用*时，在没有得到结果之前，该*调用*就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由*调用者*主动等待这个*调用*的结果，且能够第一时间得到返回值。

　　而异步则是相反，*调用*在发出之后，这个调用就直接返回了，所以没有返回结果。换句话说，当一个异步过程调用发出后，调用者不会立刻得到结果。而是在*调用*发出后，*被调用者*通过状态、通知来通知调用者，或通过回调函数处理这个调用。

　　阻塞调用是指调用结果返回之前，当前线程会被挂起。调用线程只有在得到结果之后才会返回。
　　非阻塞调用指在不能立刻得到结果之前，该调用不会阻塞当前线程。

同步是两个对象之间的关系，而阻塞是一个对象的状态。

 

以上几个概念应该具体到某个层次或者级别上才具有实际意义，从系统或者架构上去区分容易混淆。

　　一个网络包从应用程序A发到另一台电脑上的应用程序B，需要经历：

1. 从A的业务代码到A的软件框架
2. 从A的软件框架到计算机的操作系统内核
3. 从A所在计算机的内核到网卡
4. 从网卡经过网线发到交换机等设备，层层转发，到达B所在计算机的网卡
5. 从B所在计算机的网卡到B所在计算机的内核
6. 从B所在计算机的内核到B的程序的用户空间
7. 从B的软件框架到B的业务代码

　　这个层级关系就像是过程调用一样，前一级调用后一级的功能，后一级返回一个结果给前一级（比如：成功，或者失败）。只有在单独一级的调用上，可以说同步还是异步的问题。所谓同步，是指调用协议中结果在调用完成时返回，这样调用的过程中参与双方都处于一个状态同步的过程。而异步，是指调用方发出请求就立即返回，请求甚至可能还没到达接收方，比如说放到了某个缓冲区中，等待对方取走或者第三方转交；而结果，则通过接收方主动推送，或调用方轮询来得到。

　　从这个定义中，我们看，首先1和7，这取决于软件框架的设计，如果软件框架可以beginXXX，然后立即返回，这就是一种异步调用，再比如javascript当中的异步HTTP调用，传入参数时提供一个回调函数，回调函数在完成时调用，再比如协程模型，调用接口后马上切换到其他协程继续执行，在完成时由框架切换回到协程中，这都是典型的异步接口设计。

　　而2和6，其他答主已经说得很好了，其实都需要调用方自己把数据在内核和用户空间里搬来搬去，其实都是同步接口，除非是IOCP这样的专门的异步传输接口，所以这一级其实是同步的，阻塞与非阻塞的区别其实是影响调用接口的结果（在特定条件下是否提前返回结果），而不是调用方式。

　　3和5，内核一般通过缓冲区，使用DMA来传输数据，所以这一步又是异步的。

　　4，以太网是个同步时序逻辑，随信号传输时钟，必须两边设备同时就绪了才能开始传输数据，这又是同步的。

总结来说，讨论究竟是异步还是同步，一定要严格说明说的是哪一部分。其他答主说非阻塞是同步而不是异步，这毫无疑问是正确的，然而说某个框架是异步IO的框架，这也是正确的，因为说的其实是框架提供给业务代码的接口是异步的，不管是回调还是协程，比如说我们可以说某个库是异步的HTTPClient，并没有什么问题，因为说的是给业务代码的接口。由于通常异步的框架都需要在2中使用非阻塞的接口，的确会有很多人把非阻塞和异步混为一谈。

对unix来讲：阻塞式I/O(默认)，非阻塞式I/O(nonblock)，I/O复用(select/poll/epoll)都属于同步I/O，因为它们在数据由内核空间复制回进程缓冲区时都是阻塞的(不能干别的事)。只有异步I/O模型(AIO)是符合异步I/O操作的含义的，即在1数据准备完成、2由内核空间拷贝回缓冲区后 通知进程，在等待通知的这段时间里可以干别的事。

以linux下 tcp socket编程为例：

阻塞就是 recv/read的时候 socket接收缓冲区要是有数据就读， 没数据我就一直睡觉赖着不走，直到有数据来了读完我才走。send/write的时候，要是发送缓冲区满了，没有空间继续发送了我也一直睡觉赖着不走，直到发送缓冲区腾出足够的空间让我把数据全部塞到发送缓冲区里我才走。（当然如果你通过setsockopt设置了读写超时，超时时间到了还是会返回-1和EAGAIN，不再睡觉等待）
非阻塞就是recv/read的时候，要是接收缓冲区有数据我就读完，没有数据我直接带着返回的-1和EGAIN走人，绝不睡觉等待耽误时间。write/send的时候， 要是发送缓冲区有足够的空间，就立刻把数据塞到发送缓冲区去，然后走人，如果发送缓存区满了，空间不足，那直接带着返回的-1和EAGAIN走人。

至于IO多路复用，首先要理解的是，操作系统为你提供了一个功能，当你的某个socket接收缓存区有数据可读，或者发送缓冲区有空间可写的时候，它可以给你一个通知。这样当配合非阻塞的socket使用时，只有当系统通知我哪个描述符可读了，我才去执行read操作，可以保证每次read都能读到有效数据而不做纯返回-1和EAGAIN的无用功。写操作类似。操作系统的这个功能通过select/poll/epoll之类的系统调用函数来使用，这些函数都可以同时监视多个描述符的读写就绪状况，这样，多个描述符的I/O操作都能在一个线程内完成，这就叫I/O多路复用，这里的“复用”指的是复用同一个线程。

虽然I/O多路复用的函数也是阻塞的，但是其与以上两种还是有不同的，I/O多路复用是阻塞在select，epoll这样的系统调用之上，而没有阻塞在真正的I/O系统调用如recvfrom之上。

至于事件驱动，其实是I/O多路复用的一个另外的称呼。

至于异步同步，我们常见的linux下的网络编程模型大部分都是同步io，以读操作为例，本质上都是需要用户调用read/recv去从内核缓冲区把数据读完再处理业务逻辑。异步io则是内核已经把数据读好了，用户直接处理逻辑。异步IO在linux下一般是用aio库。

 

 

来个对以上概念宏观上笼统上的认识总结（同样是转载的知乎大佬）：

作者：银月游侠
链接：https://www.zhihu.com/question/19732473/answer/88599695
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我认为同步、异步、阻塞、非阻塞，是分3个层次的：

1. CPU层次；
2. 线程层次；
3. 程序员感知层次。

这几个概念之所以容易混淆，是因为没有分清楚是在哪个层次进行讨论。

CPU层次
在CPU层次，或者说操作系统进行IO和任务调度的层次，现代操作系统通常使用异步非阻塞方式进行IO（有少部分IO可能会使用同步非阻塞轮询），即发出IO请求之后，并不等待IO操作完成，而是继续执行下面的指令（非阻塞），IO操作和CPU指令互不干扰（异步），最后通过中断的方式来通知IO操作完成结果。

线程层次

在线程层次，或者说操作系统调度单元的层次，操作系统为了减轻程序员的思考负担，将底层的异步非阻塞的IO方式进行封装，把相关系统调用（如read，write等）以同步的方式展现出来。然而，同步阻塞的IO会使线程挂起，同步非阻塞的IO会消耗CPU资源在轮询上。为了解决这一问题，就有3种思路：

1. 多线程（同步阻塞）；
2. IO多路复用（select，poll，epoll）（同步非阻塞，严格地来讲，是把阻塞点改变了位置）；
3. 直接暴露出异步的IO接口，如kernel-aio和IOCP（异步非阻塞）。

程序员感知层次
在Linux中，上面提到的第2种思路用得比较广泛，也是比较理想的解决方案。然而，直接使用select之类的接口，依然比较复杂，所以各种库和框架百花齐放，都试图对IO多路复用进行封装。此时，库和框架提供的API又可以选择是以同步的方式还是异步的方式来展现。如python的asyncio库中，就通过协程，提供了同步阻塞式的API；如node.js中，就通过回调函数，提供了异步非阻塞式的API。

总结

因此，我们在讨论同步、异步、阻塞、非阻塞时，必须先明确是在哪个层次进行讨论。比如node.js，我们可以说她在程序员感知层次提供了异步非阻塞的API，也可以说在Linux下，她在线程层次以同步非阻塞的epoll来实现。

详解：http://blog.csdn.net/fgf00/article/details/52793739