—本篇由团队成员Fantasy供稿!
功能背景
随着社会进步,人们对产品体验要求越来越高。EasyDarwin也不例外。为了能满足用户对链接服
后看到画面时间(也就是我们经常看到的起播时间)短的要求,我们特地实现了关键帧缓存推送的功能。
技术知识介绍
- H264帧有多重模式,主流的有IPPPPPPPPPIPPPPPPPPPIPPPPPPPPPIPPPPPPPPPIPPPPPPPPP、IPPPBPPPBPPPIPPPBPPPBPPPI…模式,每一个I帧的出现为一个GOP,一般设置为50-100,意思是50到100帧出现一个I帧。IP模式,据了解,一般硬编码大多是这种模式,如海思,或者一些手机芯片。这种模式的特点是链状的,P帧参考前面的P帧,最前面的P帧参考I帧,这样如果丢了一帧,就会出现花屏的情况,IPB的模式则不同,B帧参考相邻前后帧,是前后帧的差值。I帧压缩率最低,P帧压缩率高,B帧压缩率最高;
备注:如果你是用x264库压缩,可以考虑调整帧之间的参考关系,满足低码率的要求的同时也能更好的恢复画面;
- I帧是完整帧,只要I帧出现后,用户才能看到画面。(有同学会问,IDR才是新画面的开始。答:好像目前很少有I帧不是IDR的)
问题点
直播时,如果用户加入会话组的时候上行推送用户推送的不是I帧,则用户需要等待一段时间才能看到画面。等待的时间会随着GOP的增大而随机性的增大,因为用户加入的时间点不同。
案例介绍:映客直播,刚进入房间就能很快看到画面,几乎是1s内,可以明显看到,来了画面之后,有一段类似快进的现象,这是怎么回事呢?因为后台缓存了大半个gop然后一次推送下来了,很多张画面在短时间内播放出来,就是快进的效果。
注意点:注意带宽容量,下行用户频繁的加入和退出会话组将会带来巨大的带宽压力,请综合估量,可以考虑加入配置,标注有多少用户能享受这等福利,当超过人数的时候只能不给予享受这个福利了。
EasyDarwin实现关键帧推送功能
在EasyDarwin中的实现,Keyframecache.h 和Keyframecache.cpp文件。在RTSPSession中处理推送上来的数据的时候,缓存一份到keyframecache中,(注意,RTP协议头没有协议头尾和长度信息,存储的时候只能自己在数据头前面加上协议头,数据长度和协议尾字节,这样取数据的时候,才能正常的按照接收到的数据包的格式一包包取出), 当有新用户加入output数组的时候,将用户标记newFlag设置为true,在下行转发数据的时候,先判断用户的newFlag标记是否为true,如果为true,则将缓存的数据推送下去,然后再转发事实的数据,以此来达到很快看到画面的效果。注意点,当带宽不够的时候,容易出现丢包,就会出现首个GOP花屏的现象,推送完之后清除newFlag标记。这个理解一下,带宽低避免不了,后期EasyDarwin团队考虑加入FEC机制,增加一定的抗丢包能力。
获取更多信息
Copyright © EasyDarwin.org 2012-2016