Deep Joint Rain Detection and Removal from a Single Image[1]
-
简介：多任务全卷积从单张图片中去除雨迹。本文在现有的模型上，开发了一种多任务深度学习框架，学习了三个方面，包括二元雨条纹映射(binary rain streak map)，雨条纹外观和干净的背景。特别是新添加的二元雨条纹映射，其损失函数可以为神经网络提供额外的强特征。对于雨带积累现象（暴雨形成的如烟如雾的现象），采取循环雨检测和清除，以迭代和渐进方式清除。
-
动机：恢复暴雨下拍摄的图像，在自动驾驶等领域是重要的研究问题。在暴雨下拍摄的图像包含背景层和将与条纹层，此任务的目标在于输出干净的背景。
-
雨模型由原来的:
[O=B+ ilde{S} ]变为：
[O=B+SR ]其中，(B)是背景层，( ilde{S})为雨迹层，O为原始图片，R是二元值，1表示雨区，0表示无雨区。
联合的雨迹检测和移除：
雨迹移除的过程如上图所示，首先使用基于上下文扩展的网络（Contextualized Dilated Networks，论文4.2详述）抽取雨迹特征表示F，基于此，接下来依次预测R,S,B。
[1] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.