r-cnn学习（九）：学习总结

首先看下代码文件夹的说明（这部分转自：http://blog.csdn.net/bailufeiyan/article/details/50749694）

tools

   在tools文件夹中，是我们直接调用的最外层的封装文件。其中主要包含的文件为：

• _init_paths.py :用来初始化路径的，也就是之后的路径会join（path，*）
• compress_net.py：用来压缩参数的，使用了SVD来进行压缩，这里可以发现，作者对于fc6层和fc7层进行了压缩，也就是两个全连接层。
• demo.py ：通常，我们会直接调用这个函数，如果要测试自己的模型和数据，这里需要修改。这里调用了fast_rcnn中的test、config、nums_wrapper函数。vis_detections用来做检测，parse_args用来进行参数设置，以及damo和主函数。
• eval_recall.py：评估函数
• reval.py：re-evaluate，这里调用了fast_rcnn以及dataset中的函数。其中，from_mats函数和from_dets函数分别loadmat文件和pkl文件
• rpn_genetate.py：这个函数调用了rpn中的genetate函数，之后我们会对rpn层做具体的介绍。这里，主要是一个封装调用的过程，我们在这里调用配置的参数、设置rpn的test参数，以及输入输出等操作。
• test_net.py：测试fast rcnn网络。主要就是一些参数配置。
• train_faster_rcnn_alt_opt.py：训练faster rcnn网络使用交替的训练，这里就是根据faster rcnn文章中的具体实现。可以在主函数中看到，其包括的步骤为：   

1. RPN 1，使用imagenet model进行初始化参数，生成proposal，这里存储在mp_kwargs
2. fast rcnn 1，使用 imagenet model 进行初始化参数，使用刚刚生成的proposal进行fast rcnn的训练
3. RPN 2使用 fast rcnn 中的参数进行初始化（这里要注意哦），并生成proposal
4. fast rcnn 2，使用RPN 2 中的 model进行初始化参数
5. 值得注意的是：在我们训练时，我们可以在get_solvers中的max_iters中设置迭代次数，在不确定网络是否可以调通时，减少迭代次数可以减少测试时间。
6. 我们在训练faster rcnn网络时，就是调用这个文件训练的

• train_net.py：使用fast rcnn，训练自己数据集的网络模型
• train_svms.py：使用最原始的RCNN网络训练post-hoc SVMs

RPN

   这里我们主要看lib/rpn文件夹下的代码。这里主要介绍了rpn的模型，其中，包含的主要文件如下：

• generate_anchors.py: 生成多尺度和多比例的锚点。这里由generate_anthors函数主要完成，可以看到，使用了 3 个尺度( 128, 256, and 512)以及 3 个比例(1:1,1:2,2:1)。一个锚点由w, h, x_ctr, y_ctr固定，也就是宽、高、x center和y center固定。
• proposal_layer.py:这个函数是用来将RPN的输出转变为object proposals的。作者新增了ProposalLayer类，这个类中，重新了set_up和forward函数，其中forward实现了：生成锚点box、对于每个锚点提供box的参数细节、将预测框切成图像、删除宽、高小于阈值的框、将所有的(proposal, score) 对排序、获取 pre_nms_topN proposals、获取NMS 、获取 after_nms_topN proposals。（注：NMS，nonmaximum suppression，非极大值抑制）
• anchor_target_layer.py:生成每个锚点的训练目标和标签，将其分类为1 (object), 0 (not object) ， -1 (ignore).当label>0，也就是有object时，将会进行box的回归。其中，forward函数功能：在每一个cell中，生成9个锚点，提供这9个锚点的细节信息，过滤掉超过图像的锚点，测量同GT的overlap。 
• proposal_target_layer.py:对于每一个object proposal 生成训练的目标和标签，分类标签从0-k，对于标签>0的box进行回归。（注意，同anchor_target_layer.py不同，两者一个是生成anchor，一个是生成proposal）
• generate.py:使用一个rpn生成object proposals。

   作者就是通过以上这些文件生成rpn的。

nms

lib/nms文件夹下是非极大值抑制，这部分大家应该已经非常熟悉了，其Python版本的核心函数为py_cpu_nms.py，具体实现以及注释如下：

def py_cpu_nms(dets, thresh):
    """Pure Python NMS baseline."""
    #x1、y1、x2、y2、以及score赋值
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    #每一个op的面积
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    #order是按照score排序的
    order = scores.argsort()[::-1]

    keep = []
    while order.size > 0:
        i = order[0]
        keep.append(i)
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        #计算相交的面积
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        #计算：重叠面积/（面积1+面积2-重叠面积）
        ovr = inter / (areas[i] + areas[order[1:]] - inter)

        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]

前段时间看了faster r-cnn的源码，对该框架有了更清楚的认识，特此总结下整个过程。

1、准备

     从train_faster_rcnn_alt_opt.py开始，通过args先做一些配置工作，包括solvers，max_iter等。

     还进行了多线程的操作。  

 

    接下来，将整个训练过程分为四步。

     （这部分可参考我之前的博客：http://www.cnblogs.com/573177885qq/p/6130877.html）

2、Stage 1 RPN, init from ImageNet model

 用ImageNet初始化，通过调用train_rpn来训练RPN网络。

 

 进入train_rpn：

 这部分包括配置参数、初始化caffe、准备数据集（roidb,imdb），然后是train_net。

 通过get_roidb来准备数据集， 参考：http://www.cnblogs.com/573177885qq/p/6141796.html

 调用train_net开始正式训练。在train_net中，首先通过filter_roidb过滤掉一部分roidb，通过

  set_roidb将roidb设置进layer[0](即ROILayer)，最后训练train_model。详细参考layer中的setup，

在训练时roilayer的forward函数，在第一个层，只需要进行数据拷贝，在不同的阶段根据prototxt文件

定义的网络结构拷贝数据，blobs = self._get_next_minibatch()这个函数读取图片数据（调用get_minibatch函数，

这个函数在minibatch中，主要作用是为faster rcnn做实际的数据准备，在读取数据的时候，分出了boxes，gt_boxes,

im_info（宽高缩放）等）。

minibatch部分参考：http://www.cnblogs.com/573177885qq/p/6142152.html

画出stage1_rpn_train.pt如图：

该图包括6个top blob：data、rois、labels、bbox_targetx、bbox_inside_weights、bbox_outside_weights。

其中rpn-data层使用的是AnchorTargetLayer，这部分参考：http://www.cnblogs.com/573177885qq/p/6141507.html

这就是第一阶段的过程。

3、Stage 1 RPN, generate proposals

     用上一步训练的模型生成proposals，供后面使用。

    在生成proposals时，调用的是rpn_generate，在其中又调用了rpn文件夹下generate.py中的imdb_proposals（实在太绕了），

在这个函数中，终于可以看到imread读入图片了，并调用im_proposals生成图片的proposals以及得分（这部分以后补充）。

    至此，得到imdb proposals。

4、Stage 1 Fast R-CNN using RPN proposals, init from ImageNet model

      用上一步的proposals以及ImageNet model训练fast r-cnn。这里通过调用train_fast_rcnn来训练

5、Stage 2 RPN, init from stage 1 Fast R-CNN model

     利用上一步训练的模型，保持前五层（卷积层）不动，训练RPN网络。

6、 Stage 2 RPN, generate proposals

       利用上一步训练好的RPN网络，生成proposals。

7、Stage 2 Fast R-CNN, init from stage 2 RPN R-CNN model

      利用上一步的proposals，产生最终的检测网络。这一步，卷积层和rpn层固定，只训练全连接层（stage1只固定

rpn层，训练其他层）。

    最后输出最终训练的模型。

参考：http://blog.csdn.net/u011956147/article/details/53053381