《A Generative Appearance Model for End-to-end Video Object Segmentation》

 

GAM算法的pipeline如图3-8所示，Feature Extractor用于提取特征，Mask-propagation Module机制和RGMP类似，融合第一帧信息（RGB图和分割图在通道拼接的输出）和前一帧的分割结果图以及当前帧的特征。为了在解码输入中加入区分前景和背景的强约束信息，文中还设计了一个基于外观的生成模型Appearance Module，它利用多元高斯模型建模并结合EM算法[50]进行参数学习，模型输出图像中每个点的后验类别概率，然后与Mask-propagation Module输出在通道上拼接后输入进Fusion Module中生成粗粒度的分割预测（该结果还需反馈给Mask-propagation Module和Appearance Module用于下一帧的处理）并结合初级特征在Upsampling Module中进行进一步细化，最后通过predictor输出分割结果图。