TOF-深度传感器技术

1.1 TOF初探

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。

TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。

TOF的优势：与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。

TOF相机能够实时快速的计算深度信息，达到几十到100fps。TOF的深度信息。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。

TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。

TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。

1.2 TOF研究机构

<1> Dynamic 3D Vision (2006-2010):

研究领域：多芯片2D/3D传感器, 动态场景重建, 目标位置识别和光场计算

官网：www.zess.uni-siegen.de/pmd-home/dyn3d

<2>ARTTS (2007-2010):

全称：“Action Recognition and Tracking based on Time-of-Flight Sensors”

官网：http://www.artts.eu

研究领域：开发更加小型更加便宜的新一代TOF相机；将HDTV与TOF技术相结合(iii) 基于动作跟踪和识别算法的多模式接口和交互系统

<3>Lynkeus (2006-2009):

官网：www.lynkeus-3d.de

研究领域：致力于工业应用领域的高分辨率和鲁棒性的TOF传感器，例如自动化和机器人导航

<4>3D4YOU(2008-2010):

官网：www.3d4you.eu

研究领域: 构建3D-TV产品线,从3电影中实时获取点云数据并且转换为3D显示到家庭电视中3D4YOU 应用ToF range cameras初始化估计多个高清晰度相机的深度以及初始化计算3D场景图像的深度。

<5>MOSES(2008-2012):

全称：“Multi-Modal Sensor Systems for Environmental Ex-ploration (MOSES)”

研究领域：基于传感器的多方面的应用，包括基于TOF的人机接口和多传感器融合

官网：www.zess.uni-siegen.de/ipp_home/moses

1.3 TOF之应用领域

TOF 相机目前的主要应用领域包括：

<1> 物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；

<2> 安防和监控：进行 Peoplecounting

确定进入人数不超过上限；通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；敏感地区的检测对象监视；机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；

<3> 机器人：在自动驾驶领域提供更好的避障信息；机器人在安装、质量控制、原料拣选应用上的引导；

<4>医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助、面部3D 识别；

<5>互动娱乐：动作姿势探测、表情识别、娱乐广告

1.4 TOF相机特点

<1>优点：

1. 相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即

区分前景与后景；

2. 深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；

3. 经过进一步深化处理，可以完成三维建模等应用；

4. 能够快速完成对目标的识别与追踪；

5. 主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利；

6. 借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；

7. 无需扫描设备辅助工作

<2>缺点：

1. 相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率；

2. 相机本身仍然受到硬件发展的限制，更新换代速度较快；

3. 测量距离较常规测量仪器短，一般不超过 10 米；

4. 测量结果受被测物性质的影响；

5. 大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰；

6. 分辨率相对较低，本文研究的 PMD Camcube 2.0 型号相机，为目前分辨率最高的 3D 相机，其分辨率仅为 204×204像素；

7. 系统误差及随机误差对结果影响明显，需要进行后期数据处理。