ref：https://leijiezhang001.github.io/MOT-%E7%BB%BC%E8%BF%B0-Multiple-Object-Tracking-A-Literature-Review/
这篇文章比较广义，不是针对3D tracking的，知识互通，可以学习一下。
本文的主要贡献点如下四条：1）多目标跟踪系统的关键方向，包括公式(formulation)，分类(categorization)，关键原则(key principles)，以及测评(evaluation)；2）根据现有技术所属的不同方向来进行讨论，再将每个方向的方法划分为成组，然后对组内方法的原则、优缺点进行讨论；3）检验现有公开的实验并且总结在主流数据集上的实验结果，再进行量化地对比，与此同时指出分析中发现的几个有趣的问题；4）提供在MOT研究中会遇到的问题的讨论，以及可能在以后的工作中会出现的潜在可研究方向。
MOT作为一个中层任务，是一些高层任务的基础，比如行人的pose estimation，action recognition，behavior analysis，车辆的state estimation。
SOT（单目标跟踪）主要关注appearance model以及motion model的设计，解决尺度、旋转、光照等影响因素。而MOT包含两个任务：目标数量以及目标ID，这就要求MOT还需要解决其他问题：
frequent occlusions；
initialization and termination of tracks;
similar appearance;
interactions among multiple objucts;
1 问题描述
2 分类方法
- initialization method
初始化方式分为：
∘∘ Detection-Based Tracking，优势明显，除了只能处理特定的目标类型；
∘∘ Detection-Free Tracking，能处理任何目标类型； - processing mode
根据是否使用未来的观测，处理方式可分为：
∘∘ online tracking，适合在线任务，缺点是观测量会比较少；
∘∘ offline tracking，输出结果存在时延，理论上能获得全局最优解； -
type of output
根据问题求解方式输出是否存在随机性：
∘∘ probabilistic inference，概率性推断；
∘∘ deterministic inference，求解最大后验概率；自动驾驶等在线任务主要关注 Detection-Based，online tracking。
3 框架
MOT主要考虑两个问题：
目标在不同帧之间的相似度量，即对appearance，motion，interaction，exclusion，occlusion的建模。
恢复出目标的ID，即inference过程；
3.1 Visual Representation
3.1.1. Visual Representation
视觉表达即目标的特征表示方式：
- local features
本质上是点特征，点特征由 corner+descriptor(角点+描述子) 组成。KLT(good features to track)在 SOT 中应用广泛，用它可以生成短轨迹，估计相机运动位姿，运动聚类等；Optical Flow也是一种局部特征，在数据关联之前也可用于将检测目标连接到短轨迹中去。 - region features
在一个块区域内提取特征，根据像素间作差的次数，可分为：- zero-order, color histogram & raw pixel template
- first-order, HOG & level-set formulation(?)
- up-to-second-order, Region covariance matrix
- others
其它特征本质上也需要 local 或 region 的方式提取，只是原始信息并不是灰度或彩图。如 depth,probabilistic occupancy map, gait feature.
Local features，比如颜色特征，在计算上比较高效，但是对遮挡，旋转比较敏感；Region features 里，HOG 对光照有一定的鲁棒性，但是对遮挡及形变效果较差；Region covariance matrix 更加鲁棒，但是需要更高的计算量；深度特征也比较有效，但是需要额外的获取深度信息的代价。
3.3. Interaction Model
3.3.1. Social Force Models
- Individual Force
- fidelity, 目标不会改变它的目的地方向；
- constancy, 目标不会突然改变速度和方向；
- Group Force
- attraction, 目标间应该尽量靠近；
- repulsion, 目标间也得保留适当的距离；
- coherence, 同一个 group 里面的目标速度应该差不多；
3.3.2. Crowd Motion Pattern Models
当一个 group 比较密集的时候，单个目标的运动模型不太显著了，这时候群体的运动模型更加有效，可以用一些方法来构建群体运动模型。
3.4. Exclusion Model
3.4.1. Detection-level
同一帧两个检测量不能指向同一个目标。匹配 tracklets 时，可以将这一项作为惩罚项。不过目前的检测技术都做了 NMS，基本可以消除这种情况。
3.4.2. Trajectory-level
两个轨迹不能非常靠近。对于 online tracking 来说，就是 tracking 结果的两个量不能挨在一起，如果挨在一起，就说明有问题，比如遮挡，或跟丢。
3.5. Occlusion Handling
- Part-to-whole, 将目标分成栅格来处理；
- Hypothesize-and-test,
- Buffer-and-recover, 在遮挡产生前，记录一定量的观测，遮挡后恢复；
- Others
3.6.2. Deterministic Optimization
确定性优化法需要至少一个时间窗口的观测量，所以适合 offline tracking 任务。优化方法有：
- Bipartite graph matching
- Dynamic Programming
- Min-cost max-flow network flow
- Conditional random field
- MWIS(Maximum-weight independent set)
4. 评价方法
评价方法是非常重要的，一方面对算法系统进行调参优化，另一方面比较各个不同算法的优劣。评价方法 (evaluation) 包括评价指标 (metrics) 以及数据集 (datasets)，多类别的数据集主要有：
评价指标可分为：
A. 检测指标
◊◊ 准确性(Accuracy)
- Recall & Precision
- False Alarme per Frame(FAF) rate, from paper
- False Positive Per Image(FPPI), from paper
- MODA(Multiple Object Detection Accuracy), 包含了 false positive & miss dets. from paper
◊◊ 精确性(Precision)
- MODP(Multiple Object Detection Precision), 衡量检测框与真值框的位置对齐程度；from paper
B. 跟踪指标
◊◊ 准确性(Accuracy)
◊◊ 精确性(Precision)
- MOTP(Multiple Object Tracking Precision), from paper
- TDE(Tracking Distance Error), from paper
- OSPA(optimal subpattern assignment), from paper
◊◊ 完整性(Completeness)
- MT, the numbers of Mostly Tracked, from paper
- PT, the numbers of Partly Tracked
- ML, the numbers of Mostly Lost
- FM, the numbers of Fragmentation
◊◊ 鲁棒性(Robustness)
- RS(Recover from Short-term occlusion), from paper
- RL(Recover from Long-term occlusion)
5. 总结
5.1. 还存在的问题
MOT 算法模块较多，参数也较复杂，但是最依赖于检测模块的性能，所以算法间比较性能时，需要注意按模块进行变量控制。
5.2. 未来研究方向
- MOT with video adaptation，检测模块式预先训练的，需要在线更新学习；
- MOT under multiple camera: ∘∘ multiple views，不同视野相同场景信息的记录， ∘∘ non-overlapping multi-camera，不同视野不同场景的 reidentification；
- Multiple 3D object tracking，能更准确预测位置，大小，更有效处理遮挡；
- MOT with scene understanding，拥挤场景，用场景理解来有效跟踪；
- MOT with deep learning
- MOT with other cv tasks，和其他任务融合，比如目标分割等；
不要怕，不要悔
https://leijiezhang001.github.io/%E5%8D%A1%E5%B0%94%E6%9B%BC%E6%BB%A4%E6%B3%A2%E8%AF%A6%E8%A7%A3/
https://leijiezhang001.github.io/%E5%8D%A1%E5%B0%94%E6%9B%BC%E6%BB%A4%E6%B3%A2%E5%99%A8%E5%9C%A8%E4%B8%89%E7%BB%B4%E7%9B%AE%E6%A0%87%E7%8A%B6%E6%80%81%E4%BC%B0%E8%AE%A1%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/