本文由作者郑银燕授权网易云社区发布。
本文是我在测试过程中的记录,实现了单台测试机发起最大的websocket长连接数。在一台测试机上,连接到一个远程服务时的本地端口是有限的。根据TCP/IP协议,由于端口是16位整数,也就只能是0到 65535,而0到1023是预留端口,所以能分配的端口只是1024到65534,也就是64511个。也就是说,一台机器一个IP只能创建六万多个websocket长连接。
一、客户端参数调优
本文采用的测试机分别为黑mac系统和linux系统(由于黑mac机器本身性能问题,最大只能达到2万连接,于是换用linux)。下面先以mac系统为例,阐述下客户端参数调优,linux系统类似,这里不做阐述。
1、修改全局限制,系统默认的最大连接数限制
命令:sysctl kern.maxfiles
说明:全局限制,也就是系统默认的最大连接数限制是12288
修改大小: sudo sysctl -w kern.maxfiles=1048600
说明:设置系统最大连接数从12288到1048600
2、测试脚本是一个进程,开启上万个长连接,还需要修改单个进程的最大连接数。
命令:sysctl kern.maxfilesperproc
说明:单个进程默认最大连接数限制是10240
修改大小:sudo sysctl -w kern.maxfilesperproc=1048576
说明:设置进程连接数限制,进程的最大连接数要小于等于全局连接数
3、由于客户端与服务端需要建立大量的socket,所以我们需要调速一下最大文件描述符。
命令:ulimit -n
说明:“ulimit -n”命令显示当前shell能打开的最大文件数,默认值:256,该值总是小于kern.maxfilesperproc的值,因为一个shell就是一个进程。
修改大小:ulimit -n 1048576
说明:设置当前shell能打开的最大文件数为1048576,该值不能大于kern.maxfilesperproc,否则会提示设置失败。
4、由于系统默认参数,自动分配的端口数有限,所以我们需要更改客户端ip端口号的参数
命令:sysctl net.inet.ip.portrange,查询得到的系统默认的端口号分配如下:
将可分配的首个端口号设置为1024
修改大小:sudo sysctl net.inet.ip.portrange.first=1024
5、按以上的方式设置参数有个问题,当系统重启后,这些参数又恢复成了默认值,解决办法就是把参数写到/etc/sysctl.conf文件中,但是,默认这个文件是不存在的,所以首先就要创建它:
sudo touch /etc/sysctl.conf
然后把参数写到文件里
kern.maxfiles=1048600
kern.maxfilesperproc=1048576
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
重启系统,查看结果,显示成功。
至于ulimit -n的值,可以把ulimit -n 1048576 写到.bashrc中实现自动修改。
二、测试脚本
客户端脚本采用nodejs编写,之所以不采用jmeter的方式,是因为jmeter每个连接都是线程的方式,而单台测试机最好保持开启1000个以内的线程,否则机器容易崩溃。
测试脚本如下:
var cwd = process.cwd();var WebSocketClient = require('websocket').client;var size = 10000;var host = 'example.com:80';var port = 443;var authInterval = 10;var index = 0; setInterval(function(){ if(index < size){ uid = index; cid = index; init(uid, cid); index++; } },authInterval);console.log('begin...'); init = function(uid, cid){ var client = new WebSocketClient(); client.connect('ws://XX.XX.XX.XX:XXXX/ws?token='+index,"","http://example.com:80"); client.on('connectFailed', function(error) { console.log('Connect Error: ' + error.toString()); }); client.on('connect', function(connection) { console.log(index+' Connected'); connection.on('error', function(error) { console.log("Connection Error: " + error.toString()); }); connection.on('close', function(error) { console.log(error + '; Connection Closed'); //client.close(); reconnect(); }); connection.on('message', function(message) { }); }); };function timeLogout(){ return setTimeout(function (){ logout(uid); }, StartTime); }
三、测试结果
在相应的目录下输入命令node websocket.js,即可建立websocket连接。由于机器性能问题,连接数达到2w左右,就无法建立新的连接了。后面将机器改成云主机,可以达到6万的连接数。
四、后续展望
我的测试目标不是实现单台6万的连接数。我的目标是可以达到百万级稳定的长连接,并且可以向websocket服务器收发信息,计算每个消息从服务器发送到客户端接收的平均耗时时间,以及查看建立百万级连接,服务器的内存和cpu的使用情况。最终限制于机器的性能,暂时还没做到。并且业务需求繁忙,这个测试就暂时告一段落了。后续想要通过使用虚拟IP的方式来实现百万级连接,比如增加了18个IP地址,这样就可以产生18 * 60000 = 1080000个连接。或者借用更多的机器数,每台机器维持6万连接。
免费领取验证码、内容安全、短信发送、直播点播体验包及云服务器等套餐
更多网易技术、产品、运营经验分享请访问网易云社区。
相关文章:
【推荐】 考拉消息中心消息盒子处理重构(策略模式)
【推荐】 windows系统下npm升级的正确姿势以及原理
【推荐】 网易云易盾与A10 Networks达成战略合作 携手打造抗DDoS攻击的解决方案