论文笔记：Semantic Segmentation using Adversarial Networks

Semantic Segmentation using Adversarial Networks
2018-04-27 09:36:48

Abstract：

　　对于产生式图像建模来说，对抗训练已经取得了很好的效果。本文中，我们提出了一种对抗训练的方法来训练语义分割模型。其实这里就是加了一个对抗loss，即：用一个 CNN 来判断给定的图是分割的结果呢？还是 GT？本文方法的动机是：it can detect and correct higher-order inconsistencies between GT segmentation maps and the ones produced by the segmentation net. 

 

　　本文贡献点是：

　　1. 首次尝试将 adversarial training 引入到 语义分割领域；

　　2. 这种方法可以保证：long-range spatial label contiguity, 并且没有在测试的时候增加复杂度；

　　3. 在两个数据集上都提升了性能；

　　

The Proposed Approach：

　　Adversarial training :  

　　本文的方法是使用两个混合 loss function，第一项是：a multi-class cross-entropy term，该项估计分割模型来独立的预测每一个像素位置的类别标签。

　　给定一个 RGB image x，分割模型输出的是类别概率图（the class probability map）s(x)；

　　第二项是：基于额外的对抗卷积网络的。

　　

　　==============================================

　　

　　

　　

 

　　The Network Architecture：

　　

　　根据上面的流程图可以发现，本文是将分割结果 / GT二值图 和原图进行了相乘，得到的结果，输入到对抗网络中。具体细节如下图所示：

　　

　　

======================

Reference：

1. Chainer Implementation: https://github.com/oyam/Semantic-Segmentation-using-Adversarial-Networks

2. PyTorch Implementation: https://github.com/GZHermit/pytorch-GAN4Segmentation