论文笔记：Integrated Object Detection and Tracking with Tracklet-Conditioned Detection

概要

JiFeng老师CVPR2019的另一篇大作，真正地把检测和跟踪做到了一起，之前的一篇大作FGFA首次构建了一个非常干净的视频目标检测框架，但是没有实现帧间box的关联，也就是说没有实现跟踪。而多目标跟踪问题一般需要一个off-the-shelf的检测器先去逐帧检测，然后再将各帧的detection进行associate，检测与跟踪是一个“晚融合”的过程，检测是为了跟踪，跟踪却不能反哺检测。这篇文章结构非常干净，就连笔者这样对跟踪基本小白的水平也能无压力看懂。更可贵的是，这篇文章是在online的设定下做的，也就是处理某一帧时只考虑当前帧及前序帧，不接触到后续帧，而之前的FGFA、D&T等工作都是offline的，online显然更贴合实际应用。

背景

给定一个视频的多帧(mathbf{I}_t, t=0, ldots, T)，目标是检测并跟踪t时刻及其之前的帧中所有目标(mathbf{D}_t = {<d_j^t, c_j^t>}, j=1, ldots, m)，(d_j^t)表示第t帧中的第j个tracklet，(c_j^t)是其类别，一个tracklet (d^t)由t时刻及其之所有帧中的bbox集合，(d^t = [b_k^{t_k}])，(b_k^{t_k})是帧(t_k)中的第k个bbox，(t_kle t)。

传统基于检测的在线跟踪方法，如文中的算法1所示，写的非常直白，主要看for循环里的6行。第一行逐帧检测，第四行逐帧NMS，第五行用某种跟踪算法把各帧的bbox关联起来，这一步方法就很多了，可以基于bbox之间的几何关系去匹配，也可以结合图像特征，等等，总之概括起来就是这三下子。2、3、6行是两个可选的优化技术，第2、3行是box传播，就是通过光流之类的方法，将前序帧的bbox传播到当前帧，然后与当前帧检测出的bbox一起做NMS，第6行是对box的类别分数重新赋值，通常做法就是用历史的类别分数及当前帧检测出的类别分数取平均。

可以看到，即使用了两个技术去优化，检测依然不能从跟踪中获利。

Tracklet-Conditioned Detection Formulation

下面，作者展示了如何把检测和跟踪统一成一个框架，让两者在更早的阶段就相互影响，相互促进。首先将问题形式化，给定第t帧中的一堆候选box，(b_i^t)是一个四元组，表示一个box位置，还有t时刻之前的tracklets ({d_j^{t-1}}_{j=1}^{m})。剩下的问题就是对每个(b_i^t)进行分类，也就是

[P(c|b_{i}^{t},{d_j^{t-1}}) = sum_{j=0}^{m}w(b_i^t,d_j^{t-1})P(c|b_i^t,d_j^{t-1}) ]

注意，这里的(b_i^t)可以是检测器第一阶段中的anchor box，也可以是第二阶段做完之后的比较稀疏的box；权重项是自适应学习出来的，权重最大的就认为是同一个目标，另外增加一个空tracklet (d_0^{t-1}),应对新出现的目标，当新目标出现时，这一项的权重理论上就比较大，其他项权重就比较小。这样，问题就比较好的形式化了，思路很清楚。

[P(c|b_i^t,d_j^{t-1}) propto exp(log P_{ extbf{det}}(c|b_i^t)+alphalog P_{ extbf{tr}}(c|d_j^{t-1})) ]

(P_{ extbf{det}}(c|b_i^t))是基于当前帧预测的类别概率，用softmax来实现归一化(sum_{c=0}^{C} P(c|b_i^t,d_j^{t-1}) = 1)，要注意看清楚符号，视频分析的问题符号比较多，比较容易乱。(P_{ extbf{tr}}(c|d_j^{t-1})))是tracklet的类别概率，也就是一连串box取平均。具体地，

[P_{ extbf{tr}}(c|d_j^{t}) = frac{P(c|b_{k}^{t},{d_j^{t-1}}) + eta P_{ extbf{tr}}(c|d_j^{t-1}) ext{len}(d_j^{t-1})}{1+eta ext{len}(d_j^{t-1})} ]

(eta)是一个指数衰减项，默认为0.99，看起来无伤大雅。现在还剩权重项，这一项可以直观的理解为当前帧中的box，比较像前一帧中的哪个box，越像权重就越高，所以很自然地用当前box的特征与前面的一堆box的特征进行逐一比对，自适应地学习权重，这是比较两个box的apperance相似性，其实还应该比较box之间的geometry特性，譬如挨得越近就越可能是同一物体，不过作者貌似没有从几何方面考虑，可能是效果没出来，或者没时间弄了，埋个坑下一篇继续填。

[w(b_i^t,d_j^{t-1}) = exp(gammacos(mathcal{E}(b_i^t), mathcal{E}(d_j^{t-1}))) quad j>0 ]

(mathcal{E}(b_i^t))和(mathcal{E}(d_j^{t-1}))是把box映射成的128-D特征，具体做法下一章介绍，其实就是一层fc搞定。(gamma)是一个调节项，设为8。此外还要考虑新出现的物体：

[w(b_i^t,d_0^{t-1}) = exp(R) ]

R设为0.3，当然，还需要归一化一下，

[w(b_i^t,d_j^{t-1}) = frac{w(b_i^t,d_j^{t-1})}{sum_{k=0}^{m}w(b_i^t,d_k^{t-1})} ]

最后，空tracklet的类别概率设为均匀分布就行，

[P_{ extbf{tr}}(c|d_0^{t}) = frac{1}{C+1} ]

这一段比较长，符号也比较多，总结一下，中心就是第一个式子，下面这一堆都是这个式子里面每个项的解释，just so so...

Tracklet-Conditioned Two-stage Detectors

上一段遗留了几个坑，一是box是怎么来的，二是哪个128-D特征怎么来的。这一段就是把上面的思路嵌入到两阶段检测器里面。检测器使用Faster R-CNN+ResNet-101+OHEM，conv5的步长由32降为16，RPN接在conv4之后，分类和回归头接在conv5之后，就是ROI Pooling+2层fc+分类/回归。在此基础上加了一个box embedding头(mathcal{E}_{ ext{s2}})，与第二阶段的分类和回归头并列;还有(mathcal{E}_{ ext{anchor}})，与RPN的分类和回归头并列;以及(mathcal{E}_{ ext{s1}})，用了一个比较特别的方式获得。个人觉得这里(mathcal{E}_{ ext{s1}})和(mathcal{E}_{ ext{anchor}})其实用其中一个就可以了，但应该是考虑到性能问题，anchor的embedding是dense的，数量极大，如果两帧之间dense的embedding两两比对，计算量太大了，而(mathcal{E}_{ ext{s1}})是筛选过的，通常是几百个。暂时是这样考虑的，以后可能有新的想法。

[mathcal{E}_{ ext{s2}}(d_j^{t}) = egin{cases} eta mathcal{E}_{ ext{s2}}(b_k^t) + (1-eta) mathcal{E}_{ ext{s2}}(d_j^{t-1}) quad & ext{if } t>0, \ mathcal{E}_{ ext{s2}}(b_k^0) quad & ext{otherwise,} end{cases}]

很简单的式子，0时刻就直接用当前帧box的特征，其他时刻用当前帧box的特征与前一帧的特征的加权和，(eta)默认取0.8。(mathcal{E}_{ ext{anchor}})是与RPN的分类回归并列的1x1卷积，输出128xK维。(mathcal{E}_{ ext{s1}})比较特别，是在ROI Pooling的特征之后又接了两层1024维的fc，再接一层128维的fc得到结果。注意这两层1024维fc不是分类和回归用的那两层，是新加上去的。作者的解释是另加两层fc可以让(mathcal{E}_{ ext{s1}})和(mathcal{E}_{ ext{s2}})尽可能去相关，准确率会更高。最后还要注意(mathcal{E}_{ ext{anchor}})的比较对象是前一帧的(mathcal{E}_{ ext{s1}})，而不是前一帧的(mathcal{E}_{ ext{anchor}})，前面说了应该是出于计算量的考虑。

训练/测试/实现细节/讨论

Inference见原文算法2，顺利成章的事情，没什么好写的。Training的样本是在视频中随机采样两个连续帧，第一帧只基于图像检测，第二帧使用Tracklet-Conditioned的检测，检测loss照抄Faster，跟踪loss定义如下：

[egin{aligned} L &_{ ext{track_box}}(b_{t-1}, b^{ ext{gt}}_{t-1}, b^{ ext{gt}}_{t}) = egin{cases} (1 - cos(mathcal{E}(b_{t-1}), mathcal{E}(b^{ ext{gt}}_{t})))^2 quad ext{if IoU}(b_{t-1}, b^{ ext{gt}}_{t-1}) ge 0.5\ max (0, cos(mathcal{E}(b_{t-1}), mathcal{E}(b^{ ext{gt}}_{t})))^2 quad ext{otherwise} \ end{cases} end{aligned}]

就是按照同一目标的特征相似度应该比较大，不同目标相似度应较小，比较好理解。
作者从准确性、鲁棒性和稳定性几个方面作了讨论，值得注意的是这个算法在稳定性方面很有优势，也就是检测框“抖动”的现象减轻了很多，这对于实际应用非常重要。
另外还有一些细节，AssociateTracklet的过程其实是一个二分图匹配的过程，不一定是权重最大的就认为是同一个目标，运用经典的二分图匹配算法就可以了，这在许多多目标跟踪器中也有应用。PropagateBox过程用了FlowNet2来取代opencv里自带的光流算法，不过这个过程应该只是用来复现Baseline，在作者提出的方法里并没有用到？
最后，说一下个人的几点看法：

• 虽说统一了检测和跟踪，但是跟踪只用到了上一帧的信息，这或许对稳定性有一些伤害。
• 对于reappear的问题是无力的，不过很多多目标跟踪的算法同样面临这个问题，当消失的目标重新出现时，会被视为新的目标，要解决这个问题就得用re-id来辅助一下了。
• 跟踪性能到底如何？文章只在MOT15上跟其他算法进行了pk，并且也不是最优的，再最新的MOT17上可能就更无力了。不过，整合检测和跟踪，是未来的大势所趋，可以说开了个好头，提出了一个非常干净的框架。