小结:
1、
我们决定使用 Go 通道的一种常用模式构建一个两层的通道系统,一个通道用作任务队列,另一个来控制处理任务时的并发量。
这个办法是想以一种可持续的速率、并发地上传数据至 S3 存储,这样既不会把机器跑挂掉也不会产生 S3 的连接错误。因此我们选择使用了一种 Job/Worker 模式。如果你熟悉 Java,C# 等语言,可以认为这是使用通道以 Go 语言的方式实现了一个工作线程池。
https://mp.weixin.qq.com/s/-54_60KpUIdwswfTYumiDw
https://log.zvz.im/2018/02/28/handling-million-requests-with-golang/
百万请求一分钟,Golang 轻松来搞定