参考文献 Summarisation of Surveillance Videos by Key-frame Selection ICDSC 2011
该文的思路与前面二篇思路大致相同,该文没有分段处理这一步,而直接在运动信特征的基础按一定的选取策略,选取关键帧.
提取运动信息特征:EHD Edge Histogram Descriptor,LFE Localised Foreground Entropy.
EHD特征提取步骤如下:
1).将图像转换为灰度图像,划分为4*4的图像子块.
2).计算每个图像子块,5个方向对应mf(i,j).
3).将每个图子块各个方向的mf(i,j)组合成一个向量.(5*4*4)80的向量.
具体计算细节参考文献 Efficient use of local edge histogram descriptor
LFE特征提取步骤如下:
1).将检测的前景结果图像,划分成n*n的图像子块.
2).计算每个图像子块的熵值.
3).求n*n个图像子块的平均熵值,得到最终图像的熵值信息.
m = n * n.
关键帧选择策略 选择EHD和LFE对应的局部最大值作为关键帧.
具本处理方法是迭代处理,每次迭代时,针对每一对相连关键帧,删除其特征值较小的关键帧,直到最终选取关键帧达到一定的数目时,停止迭代处理.
思考点:
1).EHD的计算是针对原始图像序列,还是检测的前景结果图像序列.(需要进一步阅读文献Efficient use of local edge histogram descriptor)
2).LFE中对块划分是均匀划分,以及求图像子块熵的平均值时各个图像子块的权值相同.
没有考虑人的视频特点,人可能对图像中心的区域更感兴趣,图像中心的内容,所占权重应该大些.
可以参用不等划分策略,以及给各块分配不同的权值.
3).关键帧的选择策略,过于简单,选取关键帧不一定准确.