zoukankan      html  css  js  c++  java
  • Golang协程详解和应用

    前言

    学习和使用golang也有一段时间了,golang最近2年在国内很火,提起golang和其它语言最大区别莫过于协程,不过咱今天先不说协程,我先说一下自己的一些理解。

    对c熟悉的人应该对go不陌生,它们都属于强类型静态编译型语言,在语法上和PHP这种弱类型动态解释型语言不一样,虽然差异很大,但是基本语法都是差不多,掌握一种语言之后再去学其它语言语法不是什么大问题。

    在IT行业,编程语言之争一直是个很热闹的话题,编程语言之间的区别不仅仅在于语法和特性,语法只是表达编程思想的方式,一个编程语言的背后往往是其强大的生态圈,比如c语言之所以经久不衰,那是因为它几乎可以认为是创世纪语言,是当代编程的起点,而PHP则以快速处理文本,快速搭建web网站出名,JS则是浏览器编程的唯一选择,Python拥有的科学计算库是其它语言没有的。

    说到go的优点,一般都集中在静态编译、毫秒级GC、简洁、并发并行等特性上面,go是2008年诞生的,由C语言之父设计,相对其它语言来说比较年轻,可以说在设计之初吸收了各大语言的优点。

    协程到底是什么东西?

    说到go必须得说协程,先说说为什么需要协程,都说go是为并发编程而生,指的就是go很容易写出高并发的程序,现代计算机硬件早已步入多核时代,前段时间AMD刚刚发布最新的锐龙3代,作为民用级的CPU现在已达到16核32线程,然而大部分编程语言依然弱智,只能利用单核性能,传说中一核有难多核围观...

    但是操作系统提供了多进程的能力,除了多进程之外,还有一个叫多线程,线程和进程区别不大,线程是程序执行的最小单位,一个进程可以有多个线程,编程语言可以使用多进程或多线程利用多核CPU的能力,然而现实并不是那么简单...

    进程和线程都可以解决多核CPU利用率的问题,比如PHP就整出来一个fpm,采用了master-worker模型,实际上采用多进程解决并发问题,已经非常不错了,但是依然存在问题,支持不了太高的并发。

    现在的Linux和Windows都是分时复用的多任务操作系统,上面跑着很多程序,所以操作系统需要在不同进程之间切换,这时候就产生了CPU上下文切换,具体技术细节咱可以不了解,但是存在的问题就是切换的时候非常消耗资源,默认情况下Linux只可以创建1024个进程,虽然可以修改,但是一旦进程或线程数过多,CPU的时间基本上都浪费在上下文切换上面了,何谈高效?

    可见,多进程和多线程并不是很完美,对于编程来说,难度非常大,所以目前只有Java有比较好的多线程模型,PHP虽然有相关扩展,但是很少有人使用,JS压根不支持!

    但是并不是必须使用多进程或多线程才可以实现高并发,很多时候,特别是web相关应用,当你读取文件或者调用API都会产生IO,但是由于计算机硬盘、网络传输速度比较慢,CPU就会一直在那等...时间就浪费了!后来有人想,既然在等IO,你就把CPU让出来让其它人用啊,当硬盘数据读取到、接口返回数据的时候我通知你一声就行了,这就是异步非阻塞IO,JS目前使用就是这种模型,Golang的协程也会用到。

    在我理解,go的协程是为了解决多核CPU利用率问题,go语言层面并不支持多进程或多线程,但是协程更好用,协程被称为用户态线程,不存在CPU上下文切换问题,效率非常高。

    实例

    1.Hello World

    package main
    
    func main() {
        go say("Hello World")
    }
    
    func say(s string) {
        println(s)
    }
    

    go启动协程的方式就是使用关键字go,后面一般接一个函数或者匿名函数,但是如果你运行上面第一段代码,你会发现什么结果都没有,what???

    这至少说明你代码写的没问题,当你使用go启动协程之后,后面没有代码了,这时候主线程结束了,这个协程还没来得及执行就结束了... 聪明的小伙伴会想到,那我主线程先睡眠1s等一等? Yes, 在main代码块最后一行加入:

    time.Sleep(time.Second*1) # 表示睡眠1s
    

     

    2.WaitGroup

    上面睡眠这种做法肯定是不靠谱的,WaitGroup可以解决这个问题, 代码如下:

    package main
    
    import (
    	"sync"
    )
    var wg = sync.WaitGroup{}
    
    func main() {
    	wg.Add(1)
    	go say("Hello World")
    	wg.Wait()
    }
    
    func say(s string) {
    	println(s)
    	wg.Done()
    }
    

    简单说明一下用法,var 是声明了一个全局变量 wg,类型是sync.WaitGroup,wg.add(1) 是说我有1个协程需要执行,wg.Done 相当于 wg.Add(-1) 意思就是我这个协程执行完了。wg.Wait() 就是告诉主线程要等一下,等协程都执行完再退出。

    3.并发还并行?

    当你同时启动多个协程的时候,会怎么执行呢?

    package main
    
    import (
        "strconv"
        "sync"
    )
    
    var wg = sync.WaitGroup{}
    
    func main() {
        wg.Add(5)
        for i := 0; i < 5; i++ {
            go say("Hello World: " + strconv.Itoa(i))
        }
        wg.Wait()
    }
    
    func say(s string) {
        println(s)
        wg.Done()
    }

    如果去掉go,直接在循环里面调用这个函数5次,毫无疑问会一次输出 Hello World: 0 ~ 4, 但是在协程里面,输出的顺序是无序的,看上去像是“同时执行”,其实这只是并发。

    有一个问题,上面的例子里面是并发还并行呢?

    首先,我们得区分什么是并发什么是并行,举个比较熟悉的例子,并发就是一个锅同时炒2个菜,2个菜来回切换,并行就是你有多个锅,每个锅炒不同的菜,多个锅同时炒!

    对于计算机来说,这个锅就是CPU,单核CPU同一时间只能执行一个程序,但是CPU却可以在不同程序之间快速切换,所以你在浏览网页的同时还可以听歌!但是多核CPU就不一样了,操作系统可以一个CPU核心用来浏览网页,另一个CPU核心拿来听歌,所以多核CPU还是有用的。

    但是对于单一程序来说,基本上是很难利用多核CPU的,主要是编程实现非常麻烦,这也是为什么很多人都说多核CPU是一核有难多核围观...特别是一些比较老的程序,人家在设计的时候压根没考虑到多核CPU,毕竟10年前CPU还没有这么多核心。

    回到上面的例子,如果当前CPU是单核,那么上面程序就是并发执行,如果当前CPU是多核,那就是并行执行,结果都是一样的,如何证明请看下面的例子:

    package main
    
    import (
    	"runtime"
    	"strconv"
    )
    
    func main() {
    	runtime.GOMAXPROCS(1)
    	for i := 0; i < 5; i++ {
    		go say("Hello World: " + strconv.Itoa(i))
    	}
    	for {
    	}
    }
    
    func say(s string) {
    	println(s)
    }
    

    默认情况下,最新的go版本协程可以利用多核CPU,但是通过runtime.GOMAXPROCS() 我们可以设置所需的核心数(其实并不是CPU核心数),在上面的例子我们设置为1,也就是模拟单核CPU,运行这段程序你会发现无任何输出,如果你改成2,你会发现可以正常输出。

    这段程序逻辑很简单,使用一个for循环启动5个协程,然后写了一个for死循环,如果是单核CPU,当运行到for死循环的时候,由于没有任何io操作(或者能让出CPU的操作),会一直卡在那里,但是如果是多核CPU,go协程就会调用其它CPU去执行。

    如果你在for循环里面加入一个sleep操作,比如下面这样:

    for {
    		time.Sleep(time.Second)
    	} 

    4.channel

    channel,又叫管道,在go里面的管道是协程之间通信的渠道,类似于咱们常用的消息队列。在上面的例子里面我们是直接打印出来结果,假如现在的需求是把输出结果返回到主线程呢?

    package main
    
    import (
    	"strconv"
    )
    
    func main() {
    	var result = make(chan string)
    	for i := 0; i < 5; i++ {
    		go say("Hello World: "+strconv.Itoa(i), result)
    	}
    	for s := range result {
    		println(s)
    	}
    }
    
    func say(s string, c chan string) {
    	c <- s
    }
    

      

    简单说明一下,这里就是实例化了一个string类型的管道,在调用函数的时候会把管道当作参数传递过去,然后在调用函数里面我们不输出结果,然后把结果通过管道返还回去,然后再主线程里面我们通过for range循环依次取出结果!

    结果如下,但是这个程序是有bug的,在程序的运行的最后会出现一个fatal error,提示所有的协程都进入睡眠状态,死锁!

    Hello World: 4
    Hello World: 1
    Hello World: 0
    Hello World: 2
    Hello World: 3
    fatal error: all goroutines are asleep - deadlock!
    

    go的管道默认是阻塞的(假如你不设置缓存的话),你那边放一个,我这头才能取一个,如果你那边放了东西这边没人取,程序就会一直等下去,死锁了,同时,如果那边没人放东西,你这边取也取不到,也会发生死锁!

    如何解决这个问题呢?标准的做法是主动关闭管道,或者你知道你应该什么时候关闭管道, 当然你结束程序管道自然也会关掉!针对上面的演示代码,可以这样写:

    var i = 0
    for s := range result {
        println(s)
        if i >= 4 {
            close(result)
        }
        i++
    }
    

    因为我们明确知道总共会输出5个结果,所以这里简单做了一个判断,大于5就关闭管道退出for循环,就不会报错了!虽然丑了点,但是能用

    5.生产者消费者模型

    利用channel和协程,我们可以非常容易的实现了一个生产者消费者模型,代码如下:

    package main
    
    import (
    	"strconv"
    	"fmt"
    	"time"
    )
    
    func main() {
    	ch1 := make(chan int)
    	ch2 := make(chan string)
    	go pump1(ch1)
    	go pump2(ch2)
    	go suck(ch1, ch2)
    	time.Sleep(time.Duration(time.Second*30))
    }
    
    func pump1(ch chan int) {
    	for i := 0; ; i++ {
    		ch <- i * 2
    		time.Sleep(time.Duration(time.Second))
    	}
    }
    
    func pump2(ch chan string) {
    	for i := 0; ; i++ {
    		ch <- strconv.Itoa(i+5)
    		time.Sleep(time.Duration(time.Second))
    	}
    }
    
    func suck(ch1 chan int, ch2 chan string) {
    	chRate := time.Tick(time.Duration(time.Second*5)) // 定时器
    	for {
    		select {
    		case v := <-ch1:
    			fmt.Printf("Received on channel 1: %d
    ", v)
    		case v := <-ch2:
    			fmt.Printf("Received on channel 2: %s
    ", v)
    		case <-chRate:
    			fmt.Printf("Log log...
    ")
    		}
    	}
    }
    

    输出结果如下:

    Received on channel 1: 0
    Received on channel 2: 5
    Received on channel 2: 6
    Received on channel 1: 2
    Received on channel 1: 4
    Received on channel 2: 7
    Received on channel 1: 6
    Received on channel 2: 8
    Received on channel 2: 9
    Received on channel 1: 8
    Log log...
    Received on channel 2: 10
    Received on channel 1: 10
    Received on channel 1: 12
    Received on channel 2: 11
    Received on channel 2: 12
    Received on channel 1: 14
    

     这个程序建立了2个管道一个传输int,一个传输string,同时启动了3个协程,前2个协程非常简单,就是每隔1s向管道输出数据,第三个协程是不停的从管道取数据,和之前的例子不一样的地方是,pump1 和 pump2是2个不同的管道,通过select可以实现在不同管道之间切换,哪个管道有数据就从哪个管道里面取数据,如果都没数据就等着,还有一个定时器功能可以每隔一段时间向管道输出内容!而且我们可以很容易启动多个消费者。

    应用

    1.Web应用

    使用go自带的http库几行代码就可以启动一个http server,代码如下:

    http.HandleFunc("/", func(writer http.ResponseWriter, request *http.Request) {
            _, _ = fmt.Fprintln(writer, "Hello World")
        })
        _ = http.ListenAndServe("127.0.0.1:8080", nil)

    虽然简单,但是非常高效,因为其底层使用了go协程,对于每一个请求都会启动一个协程去处理,所以并发可以轻轻松松达到上万QPS。

    2.并发编程

    举一个非常简单的例子,假设我们在业务里面需要从3个不同的数据库获取数据,每次耗时100ms,正常写法就是从上到下依次执行,总耗时300ms,但是使用协程这3个操作可以“同时”进行,耗时大大减少。

    几乎所有IO密集型的应用,都可以利用协程提高速度,提高程序并发能力,不必把CPU时间浪费在等待的过程中,同时还可以充分利用多核CPU的计算能力。

  • 相关阅读:
    hadoop2.6虚拟机搭建和应用到win平台下eclipse开发
    javascript相关的增删改查以及this的理解
    javascript中对编码的解读
    Js中去除数组中重复元素的6种方法
    手机端页面自适应解决方案—rem布局
    js相关的时间获取方法
    js获取时间
    谈谈 ES6 的 Promise 对象
    彻底搞懂闭包
    c# 获取Excel内容的分析
  • 原文地址:https://www.cnblogs.com/zh718594493/p/14679344.html
Copyright © 2011-2022 走看看