问题
最近有一个文件下载的服务,下载流量很大,我们的带宽有限,很多时候系统有很多人同时在下载文件
尽管客户端已经做了一些断点续传以及重试,但是在用户访问量较大的时候容易出现链接因为带宽问题被
关闭,造成用户文件下载失败次数比较多,因为文件偏大, 很多时候整个元数据块下载不完整,造成了很差
的用户体验
解决
- 参考方法
因为我们的入口是基于nginx 的,所以直接使用nginx 的limit_rate指令比较灵活的,不用依赖复杂的东西 - 实践
一般来说我们需要结合limit_conn 以及limit_req 一起使用,但是因为业务的也属性,不能搞链接的限制,所以我们只能基
于业务系统统计的链接以及带宽情况做一个整体的限速,流量监控我们基于prormetheus(node exporter)
+grafana,而且我们的业务有一点是系统客户端下载的链接最大为两个,这样就是一个天然的限制链接,而且
我们经常看到在限流的时候可以配置limit_rate_after 但是因为我们的业务场景是文件下载,很多时候可能也有
很多小文件,所以在系统配置的时候没有开启(直接全部限速,减少因为小文件引起的流量突发)
参考配置
- 配置指令
很简单,不需要复杂的,直接一个简单的指令就可以了
limit_rate 2m;
说明
以上是结合自身业务系统的一个限流方案,很简单,但是在进行了这个简单的配置之后,系统的流量以及稳定性提高了好多
参考资料
http://nginx.org/en/docs/http/ngx_http_core_module.html
http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html