Learning to Detect Objects with a 1 Megapixel Event Camera

Learning to Detect Objects with a 1 Megapixel Event Camera

2020-12-31 17:05:48

Paper: NIPS-2020 

Dataset: https://www.prophesee.ai/category/dataset/ 

Evaluation Toolkit: https://github.com/prophesee-ai/prophesee-automotive-dataset-toolbox 

 

1. Background and Motivation: 

本文在 event camera 上进行了物体检测的任务，主要是因为该传感器具有较好的时间分辨率，没有运动模糊，高动态，以及低功耗等。在自动驾驶领域，有较好的应用前景。

但是目前基于该传感器的物体检测数据集并不多，所以，作者提出一个大型物体检测数据集。与此同时，也提出利用 CNN-LSTM 的框架来学习时空特征，进行物体检测的基准方法。

2. Method：

　　如下图所示，本文利用 CNN-LSTM 的框架搭建了一个baseline 方法。

　　可以看出，该方法首先将异步的事件流转换为 C*H*W 的格式，即 feature map 的形式。然后利用 CNN 提取特征，然后用 ConvLSTM 模块来学习时空特征。最终，在预测模块，作者采用了 SSD 的方式，进行bbox 的预测和类别的判断。从损失函数的角度来说，即：

　　作者还借助预测的一致性损失，来进一步提升检测的性能。

　　因此，总体的损失函数就是这三项的组合：

L = Lc + Lr + Lt.

 

3. Dataset：

　　从算法的角度来说，其实创新不大。重点在于数据集。由于直接在 event data 上进行标注比较困难，因为该数据只有物体的轮廓信息。有时很难区分物体之间的差异，所以，需要引入另外一个模态的传感器来协助标注。本文，作者采用了一个 RGB camera，来同时进行数据的收集。然后在 RGB camera 上进行标注，迁移变换后得到 event camera 的对应坐标。

4. Experiment：