mosaic failed in semantic segmentaion
1. problem
为了PCL比赛,实现了mmseg的mosaic
经过mosaic ratio = 0
的验证和dataloader的visualization,实现并未出现问题。
2. 猜想
segmentation注重context的信息,各模型都在使用各式各样的方法来建模context,而mosaic反其道而行之。将context强行截断,PSP使用了其它图片的context pooling来作为feature,对最终结果用负面影响。
为啥mosaic在detection中效果显著?而在segmentation中不好?
segmentation是dense prediction (classification),而detection不是。det其实是将localization问题转为了regression,而seg同时完成了classification和localization。
det中也使用dilation conv,FPN等trick来提升模型感受野,从而更多的利用context。但det更多的是关注于bbox内object的语义信息,如何使用更好的feature来localize这个object。
seg是个全局的scene parsing问题,只有一角是很难预测的。
强行解释,不知所言