zoukankan      html  css  js  c++  java
  • 【GoLang】并发小结

    006.并发
    1 概念
    1.1 goroutine是Go并行设计的核心,goroutine的本质是轻量级线程
    1.2 golang的runtime实现了对轻量级线程即goroutine的智能调度管理
    1.3 P、M、G原理
    1.3.1 runtime有P、M、G三个概念,P对应操作系统进程--对程序的抽象, W对应操作系统线程--对寄存器的抽象,G对应goroutine--go实现的轻量级线程, 也即GreenThreads用户态线程 P、M由内核负责调度,G由runtime负责调度,也能实现被多个处理器调用 P用M执行G,并且runtime内部维护了一个G的队列deque存放当前可执行的G, 当G执行结束,M空闲下来,P从deque中取出下一个G继续在M中执行
    1.3.2 当G执行了带阻塞的系统调用时,M会被阻塞进而被系统挂起, P会将G留在M继续执行,并从deque取出新的G、新启动一个M来执行G 当G-M重新变成就绪状态之后,P又会在合适的状态继续执行G-M
    1.3.3 当P对象的G全部执行完之后,可以从别的P对象的deque中拿一半的G放到自己的deque执行
    1.3.4 进一步优化
    1.3.4.1 如果G阻塞,P会创建新的M装载G执行
    1.3.4.2 这在分布式、高并发的网络RPC/Web场景下非常浪费系统资源导致效率低下
    1.3.4.3 Go的优势就在于,在可能导致阻塞的系统调用上, 尽管Go提供的系统调用接口为阻塞方式调用,但是内部实现是非阻塞, 当goroutine进行系统调用阻塞之后,当前的G被设置为阻塞,但是M并不会被阻塞, 仍然可以继续取其他的G继续执行,这样就不会创建新的M,增加系统开销
    1.3.4.4 goroutine被设置为阻塞之后什么时候再次被设置为就绪状态,Go抽象了netpoller对象对IO进行多路复用, 在linux上使用epoll实现,当G阻塞时,netpoller将阻塞的文件描述符注册到epoll示例进行epoll_wait, 文件描述符就绪之后通知给阻塞的G,G就绪之后就可以继续执行了 这种方式避免了传统的多进程、多线程堆积方式, golang使每一个线程尽可能的忙碌起来进行计算,而不是阻塞在IO调用上, 这在高并发的网络通信场景下非常有效
    1.3.5 参考资料
    1.3.5.1 http://m.yl1001.com/group_article/3231471449287668.htm
    1.3.5.2 http://tieba.baidu.com/p/3542454435?share=9105&fr=share
    1.3.5.3 http://m.blog.csdn.net/article/details?id=50283557
    1.3.5.4 http://www.tuicool.com/m/articles/Qr6BRz
    1.3.5.5 内存上限问题
    2 goroutine使用
    2.1 goroutine通过go关键字实现,其实就是一个普通的函数,如:go hello(a, b, c)
    2.2 与线程思路一样,main相当于主线程,即主goroutine,如果不设置,主goroutine不会主动等待所有goroutine结束之后结束main
    2.3 GOMAXPROCS设置问题
    2.3.1 默认情况下,调度器仅使用单线程,也就是说只实现了并发
    2.3.2 想要发挥多核处理器的并行,需要在我们的程序中显式调用 runtime.GOMAXPROCS(n)
    2.3.3 参考
    2.3.3.1 http://bbs.csdn.net/topics/390618790?page=1
    2.3.3.2 https://zhidao.baidu.com/question/1509937302744176180.html
    2.3.3.3 https://www.zhihu.com/question/22503180
    2.3.3.4 http://www.hankcs.com/program/cpp/multi-core_cpu_to_open_several_threads_best.html
    2.3.3.5 http://www.jb51.net/article/61605.htm
    2.4 runtime.Gosched()表示让CPU把时间片让给别人,下次某个时候继续恢复执行该goroutine
    3 channel使用
    3.1 Go提供了一个很好的机制channel供goroutine之间相互通信
    3.2 channel可以与Unix shell 中的双向管道做类比:可以通过它发送或者接收值,也可以直接认为就是线程队列
    3.3 需要注意: 定义一个channel时,也需要定义发送到channel的值的类型 而且必须使用make创建初始化channel
    3.4 channel通过操作符<-来接收和发送数据,操作符在ch左侧表示接收数据即出队,操作符在右侧表示发送数据即入队
    3.5 Unbuffered Channel
    3.5.1 默认情况下,channel是不带缓存的 也就是说,channel接收和发送数据都是阻塞的,除非另一端已经准备好 所以如果使用默认的channel,则必须有多个goroutine存在, 单个goroutine不可能既准备好了发送数据也同时准备好了接收数据 所以说: 无缓冲channel是在多个goroutine之间同步很棒的工具,这也是无缓冲channel的主要用途
    3.5.2 错误示例
    3.5.2.1
    3.5.3 错误结果
    3.5.3.1
    3.5.4 常见问题参考
    3.5.4.1 http://stackoverflow.com/questions/36505012/go-fatal-error-all-goroutines-are-asleep-deadlock
    3.5.4.2 http://stackoverflow.com/questions/26927479/go-language-fatal-error-all-goroutines-are-asleep-deadlock
    3.5.4.3 http://studygolang.com/articles/2410
    3.5.4.4 http://tieba.baidu.com/p/2685997128
    3.5.4.5 http://studygolang.com/articles/814
    3.5.4.6 http://www.oschina.net/question/2304895_230270
    3.5.5 sync.WaitGroup实现routine同步
    3.5.5.1 sync.WaitGroup也可以用于控制main routine等待所有子routine完成
    3.5.5.2 http://stackoverflow.com/questions/26927479/go-language-fatal-error-all-goroutines-are-asleep-deadlock
    3.5.6 select监控多个channel,主动发送QUIT信号
    3.5.6.1 https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/02.7.md#goroutine
    3.5.6.2 可以监控多个channel
    3.5.6.3 可以监控没有可读可写的消息
    3.5.6.4 可以设置超时控制
    3.6 Buffered Channel
    3.6.1 长度为1的channel不是默认的非缓存channel,非缓存channel长度相当于0,所以是阻塞的!
    3.6.2 语法: ch := make(chan type, value)
    3.6.3 channel遍历
    3.6.3.1 for i := range c // until channel c closed
    3.6.3.2 前提是c必须要在生产者中正确关闭,否则main routine出现异常,没有数据继续写入或者读出
    3.6.3.3 for i := range c能够不断的读取channel里面的数据,直到该channel被显式的关闭
    3.6.3.4 测试是否关闭
    3.6.3.4.1 v, ok := <-cha // ok == false is close and no data
    3.6.3.5 应该在生产者的地方关闭channel,而不是消费的地方去关闭它,这样容易引起panic
    3.6.3.6 channel不像文件之类的,不需要经常去关闭,只有当你确实没有任何发送数据了, 或者你想显式的结束range循环之类的
    4 runtime
    4.1 Goexit
    4.1.1 退出当前执行的goroutine,但是defer函数还会继续调用
    4.2 Gosched
    4.2.1 让出当前goroutine的执行权限,调度器安排其他等待的任务运行,并在下次某个时候从该位置恢复执行
    4.3 NumCPU
    4.3.1 返回 CPU 核数量,此处是逻辑核,包括超线程
    4.4 NumGoroutine
    4.4.1 返回正在执行和排队的任务总数
    4.5 GOMAXPROCS
    4.5.1 用来设置可以并行计算的CPU核数的最大值,并返回之前的值
     
     
     
  • 相关阅读:
    jquery实现表格文本框淡入更改值后淡出
    硬件抽象层
    第八章读书笔记
    Linux驱动——LED闪烁
    编写Linux驱动与统计单词个数
    在开发板上安装Android
    源代码的下载和编译
    初学Git随笔
    Ubuntu Linux环境下的Android开发环境的配置
    Android系统移植于驱动开发概述
  • 原文地址:https://www.cnblogs.com/junneyang/p/6119203.html
Copyright © 2011-2022 走看看