现有的文本检测方法主要有两大类，一种是基于回归框的检测方法(基于物体检测的方法)，如CTPN，EAST，这类方法很难检测任意形状的文本(曲线文本)， 一种是基于像素的分割检测器(基于实例分割的方法)，这类方法很难将彼此非常接近的文本实例分开。Psenet文本检测方法是基于分割的方法，在2019年的论文Shape Robust Text Detection with Progressive Scale Expansion Network 中提出，优化了近距离文本实例的分离。
对于Psenet的学习，主要在于四方面：网络结构的设计，kernel的生成，渐进尺度扩展算法(progressive scale expansion)，loss函数
1. 网络结构的设计
Psenet网络采用了resnet+fpn的架构，通过resnet提取特征，取不同层的特征送入fpn进行特征融合，其结构如下图所示：
上图中给出了训练过程中网络数据流，总结如下：
1. 1*3*640*640的图片输入网络，经过Resnet网络，将layer1，layer2，layer3，layer4的特征图p1(1*256*160*160), p2(1*512*80*80), p3(1*1024*40*40), p4(1*2048*20*20)送入fpn
2. 以此对应p1, p2, p3, p4, fpn网络输出特征c1(1*256*160*160), c2(1*256*80*80), c3(1*256*40*40), c4(1*256*20*20)
3. c2, c3, c4分别上采样2，4，8倍后和c1进行concat得到特征1*1024*160*160，再经过两个卷积输出1*7*160*160，上采样4倍得到网络最终的输出1*7*640*640。
4.网络最后输出了7个640*640的预测图(map)，分别表示预测的text_predict，和6个kernel_predict
另外，上述采用resnet50的典型结构如下：
2. kernel的产生
上面网络结构中提到模型最后输出7个640*640的预测图, 分别是预测的text，和6个kernel，因此在训练时也需要通过标注数据产生7个640*640的map供网络学习，即text_gt和6个kernel_gt。其中text_gt就是一张二值图，白色部分表示img中含有文字的区域，黑色部分表示背景区域，kernel_gt就是在text_gt的基础上，将白色区域按一定的比例缩小。如下图所示，根据r计算出d,表示该kernel的白色区域边缘部分相对于text_gt的白色区域向内部移动了d个像素。
3. 渐进尺度扩展算法(progressive scale expansion)
在进行推理时，需要从网络输出的6个kernel中得到需要的box，作者采用了pse(progressive scale exoansion)算法。假设有kernel1，kernel2, kernel3, kernel4， kernel5, kernel6，先从文字区域最小的kernel6开始，遍历其白色区域的像素点，采用广度优先法向四周扩展，依次合并kernel2, kernel3, kernel4， kernel5, kernel6， 最后合并得到一个kernel，整个合并算法看代码比较好理解。取合并后kernel白色区域的矩形框或轮廓线即得到文字检测框。论文中示意图如下：
参考python代码如下：
import numpy as np import cv2 # import Queue from queue import Queue def pse(kernals, min_area): kernal_num = len(kernals) pred = np.zeros(kernals[0].shape, dtype='int32') label_num, label = cv2.connectedComponents(kernals[kernal_num - 1], connectivity=4) for label_idx in range(1, label_num): if np.sum(label == label_idx) < min_area: label[label == label_idx] = 0 queue = Queue.Queue(maxsize = 0) next_queue = Queue.Queue(maxsize = 0) points = np.array(np.where(label > 0)).transpose((1, 0)) for point_idx in range(points.shape[0]): x, y = points[point_idx, 0], points[point_idx, 1] l = label[x, y] queue.put((x, y, l)) pred[x, y] = l dx = [-1, 1, 0, 0] dy = [0, 0, -1, 1] for kernal_idx in range(kernal_num - 2, -1, -1): kernal = kernals[kernal_idx].copy() while not queue.empty(): (x, y, l) = queue.get() is_edge = True for j in range(4): tmpx = x + dx[j] tmpy = y + dy[j] if tmpx < 0 or tmpx >= kernal.shape[0] or tmpy < 0 or tmpy >= kernal.shape[1]: continue if kernal[tmpx, tmpy] == 0 or pred[tmpx, tmpy] > 0: continue queue.put((tmpx, tmpy, l)) pred[tmpx, tmpy] = l is_edge = False if is_edge: next_queue.put((x, y, l)) # kernal[pred > 0] = 0 queue, next_queue = next_queue, queue # points = np.array(np.where(pred > 0)).transpose((1, 0)) # for point_idx in range(points.shape[0]): # x, y = points[point_idx, 0], points[point_idx, 1] # l = pred[x, y] # queue.put((x, y, l)) return pred
4. loss函数理解
psenet的loss包括两部分，gt_text和kernel的loss，都采用dice loss计算损失值。总的loss计算如公司如下，权重系数一般取λ=0.7
dice loss的计算公式如下，参见代码比较好理解
dice loss 参考代码：
def dice_loss(input, target, mask): #input为预测的map #target为标注的map input = torch.sigmoid(input) input = input.contiguous().view(input.size()[0], -1) target = target.contiguous().view(target.size()[0], -1) mask = mask.contiguous().view(mask.size()[0], -1) input = input * mask target = target * mask a = torch.sum(input * target, 1) b = torch.sum(input * input, 1) + 0.001 c = torch.sum(target * target, 1) + 0.001 d = (2 * a) / (b + c) dice_loss = torch.mean(d) return 1 - dice_loss
参考：
https://github.com/whai362/PSENet
https://github.com/WenmuZhou/PSENet.pytorch