讲到音视频互动通话系统,目前市面上出现比较多的有两种,一种是基于WebRTC的视频互动系统,另一种是RTMP/RTSP的一对一互动。由于近期TSINGSEE青犀视频研发团队在对这个做研究,因此我们也和大家探讨对比一下这两个互动系统。
WebRTC
很多互动系统都是基于webrtc做的,其最大的优点就是方便。现在WebRTC技术内置于浏览器中,用户不需要使用任何插件或者软件就能通过浏览器来实现实时通信。对于开发者来说,在Google将WebRTC开源之前,浏览器之间实现通信的技术是掌握在大企业手中,这项技术的开发是一个很困难的任务,现在开发者使用简单的HTML标签和JavaScript API就能够实现Web音/视频通信的功能。
但是在视频流传输方面,webrtc也有其不可避免的缺陷,其服务器部署非常复杂,不利于私有部署,在一些私密性高的场景下,无法使用,如公安、市政等体系;传输基于UDP,很难保证传输质量,由于UDP是不可靠的传输协议,在复杂的公网网络环境下,各种突发流量、偶尔的传输错误、网络抖动、超时等都会引起丢包异常,都会在一定程度上影响音视频通信的质量;且整个框架体系也不够灵活。
RTMP/RTSP
基于现有RTMP、RTSP推送、或内置RTSP服务、播放成熟的开发包,产品稳定度高,行业内首屈一指的超低延迟特性; 加入噪音抑制、回音消除、自动增益控制等特性,确保通话效果;采用通用的RTMP和RTSP服务器,如nginx、SRS或 Darwin Stream Server(原生版本),更有利于私有部署。
总结
不管以上哪种实现逻辑,具体都是涉及以下部分:采集端,获取原始的yuv/rgb数据,h.264/h.265编码打包成需要的格式,如按照rtmp或rtsp打包并发送数据;拉流端,通过rtsp或者rtmp协议,获取到数据,并进行音视频数据parser,然后解码,解码后的原始数据,绘制即可。
EasyRTC就是TSINGSEE青犀视频云边端架构产品中的网页实时互动通话系统,综合了webrtc和rtmp/rtsp方案的优点,支持一对一、一对多等视频会议互动通话,满足语音社交、在线教育和培训、视频会议和远程医疗等场景。
EasyRTC的视频传输总体可划分成三个部分:
1.用户端通过使用手机、电脑等终端设备,向EasyRTC推数据流;
2.EasyRTC视频会议云服务通过降噪、增加、回声消除等手段处理接收的数据流,再推送给其他终端的用户;
3.客户端(Windows、Android、iOS、H5)接收EasyRTC传出的数据,从而完成一整个视频通话。
如果大家有此类需求,欢迎联系我们了解,EasyRTC提供试用版本供大家测试,欢迎咨询。