Nginx是并发处理框架的代表者,很多后台业务都会放在Nginx容器中运行,以实现高吞吐,而Nginx能够支持高并发也是由于使用了异步非阻塞处理模型,本文将用通俗的话讲解异步、同步、阻塞、非阻塞的区别,以及IO多路复用。
一、同步和异步
同步与异步的重点是在消息通知的方式上,也就是调用后结果通知的方式不同。
同步与异步的区别
同步:当一个同步调用发出去后,调用者要一直等待调用结果的通知后,才能执行后续的操作。
异步:当一个异步调用发出去后,调用者不用一直死等调用结果的通知,可以立即返回,执行后续的操作。
那么,异步调用获取结果的方式有两种:一是通过主动轮训异步调用的结果。二是被调用方通过callback回调来通知调用者结果。
生活中的例子:
同步买奶茶:小明下单交钱,站在吧台等着拿奶茶。
异步买奶茶:小明下单交钱,老板给他一张小票,等奶茶做好了再来取。
那么,异步买奶茶时,小明怎么知道奶茶做好了:一是小明主动不断问老板:我的奶茶好了吗?二是老板吧奶茶做好了,大喊一声:奶茶好了,请小明取用,然后小明跑过去取回奶茶,这种方式叫做回调。
二、阻塞与非阻塞
阻塞与非阻塞的重点在于进/线程等待消息时候的行为,也就是等待消息的时候,当前进程or线程是挂起还是非挂起状态。
阻塞与非阻塞的区别
阻塞调用:调用发出去后,在消息返回前,当前进程or线程会被挂起,直到有消息返回时,才会被再次激活,期间不能处理其他的事务。
非阻塞调用:调用发出去后,不会阻塞当前的进程or线程,而会立即返回。
生活中的例子:
阻塞买奶茶:小明下单交钱,干等着拿奶茶,期间什么事情都不做。
非阻塞买奶茶,小明下单交钱,等待拿奶茶,等的过程中,时不时看微博刷新闻。
三、总结
通过以上可以总结:
1. 同步与异步,重点在于消息的通知方式。
2.阻塞与非阻塞,重点在于等消息时候的行为。
因此,共同组成4种方式:
1.同步阻塞:小明在吧台干等着拿奶茶
2.同步非阻塞:小明在吧台边刷微博边等着拿奶茶。
3.异步阻塞:小明拿着小票什么都不干,等着老板通知他拿奶茶。
4.异步非阻塞:小明拿着小票,刷着微博,等着老板通知他拿奶茶。
四、IO多路复用
IO多路复用英文名叫IO multiplexing,这个multiplexing是指单个线程记录跟踪每一个Sock的状态,尽可能提高服务器的吞吐能力。
最初的IO复用
所谓的IO复用是多个IO可以复用一个进程。
采用非阻塞模式,当一个连接过来时,我们不阻塞住,这样的一个进程可以同时处理多个连接。
比如一个进程接受了1000个连接请求,这个进程每次都从头到尾问一遍,“有IO事件没,有的话请给我来处理,没有的话我一会儿再来问下”。然后进程就不断重复询问这1000个连接的状态。这样会造成CPU的空转浪费,效率也很低。
升级版的IO复用
上面的古老IO复用逻辑效率很感人,于是引入了一个代理,这个agent可以同时观察多个IO流事件。
产生了两个代理:select和poll。
select和poll代理原理:
poll是基于select的优化产生的,原理上其实一样:
当连接有IO流事件产生时,就会主动唤醒进程处理。不过进程不清楚究竟是哪一个连接产生的IO流事件,于是挨个问,最终得出结果。
select是第一个实现版本(1983年在BSD里面实现)
1997年实现poll版本
select和poll原理是一样的,不过poll将select只能观察1024个连接优化成可观察无限个连接。
总之,select和poll实现还不够好,因为会产生CPU浪费的情况,如果有一个agent可以知道哪个连接有了IO流事件,就可以迅速定位到该连接,并且能够确定是读操作还是写操作岂不是更加美好了。因此,产生了epool 多路复用。
epoll IO多路复用
epoll代理原理
当连接有IO流事件产生时候,epool会告诉进程哪个连接产生了IO流事件,然后进程就会去处理该连接。
epoll是IO多路复用中很优秀的实现,修复了poll和select的缺陷:
1.epoll是线程安全的。select是线程不安全的,如果将一个sock加入select,然后另外一个线程发现此sock不可用,需要回收。select是不支持的,如果你强制关掉此sock会导致未知后果。poll优化了1024的链接限制,并且poll不用传入数组,接口设计更加优雅。
2.epoll不仅会告诉sock组里面有数组,还会告诉具体的sock组,不用去想法设法寻找了,提高CPU利用率。
缺点:
epoll只有Linux支持。
epoll与select/poll的最大区别
1.epoll内部使用了mmap共享了用户和内核的部分空间,避免数据来回拷贝。
2.epoll基于事件驱动,epoll_ctl注册事件并注册callback回调函数,epoll_wait返回发生的事件,解决了select/poll的大量轮训。
异步非阻塞和IO多路复用的应用
Nginx异步非阻塞模型
nginx优秀的地方是因为采用了异步非阻塞和IO多路复用机制
nginx进程由1个master进程和多个work进程组成,每当到了来一个request,会有worker进程去处理,但是不是全程处理,如果处理过程中有出现阻塞的地方,比如转发request并等待请求返回,它会首先注册一个事件:如果upstream返回后,请告诉我,我会接手继续之前的工作,这叫做异步。举个例子,使用uwsgi和nginx部署python web后台时候,nginx只会讲request转发给uwsgi,并且异步等待请求返回,如果这个时刻有新的request到来,此work进程会马上处理新的request,这就是非阻塞和IO多路复用。一旦上游服务器返回了,worker进程继续接手,这个回调过程叫做异步回调。
参考资料
https://segmentfault.com/a/1190000007614502