论文阅读: VITAMIN-E: Extremely Dense Feature Points

Abstract

propose了一种非直接法叫"VITAMIN-E": 准确而鲁邦, 跟踪的是稠密特征.

传统非直接法对于重建稠密几何有难度因为他们对于点的选择(为了匹配)很慎重.

和传统的方法不同, 这个方法处理了大量的特征点通过跟踪局部的曲度的极值通过dominant flow estimation.

因为这可能会导致大量的计算量, 我们用subspace Gauss-Newton method通过局部更新变量来提升BA的计算量表现.

我们同时也会对于重建出来的点生成mesh然后用一个entire 3D model来融合他们.

1. Introduction

直接法:他们不要求准确的像素匹配, 但是直接法对于噪声, 光照抖动, 镜头aberration不鲁邦.

非直接法: 最小化几何误差. 非直接法显示的建立特征点的匹配, 外点可以很容易的被RANSAC或者是M-estimatio移除.

这个特性也可以是一个缺点: 使得重建的3D图很稀疏,也不会提供几何细节. 一些稠密的方法比如PMVS或者是L-PMVS可以用,但是都是不实时的.

我们的方法tracking了很大数量的特征点.

Contributions:

1. 引入了一种新的dense feature point tracking algorithm基于dominant flow estimation和 curvature extrema tracing. 这使得VITAMIN-E可以处理大量的特征点
2. 引入了一种optimization technique: subspace Gauss-Newton method.
3. 根据特征点生成mesh, 然后用TSDF(truncated signed distance function)结合他们.

2. Dense Feature Point Tracking

2.1 Feature Point Tracking

用图像描述子的非直接法会不准因为不准确的特征点匹配.

光流法这种持续跟踪然后更新特征描述子的可能会有用, 但是如果跟的点开始有些及时是极少的漂移,那么多视图的跟踪结果就会不准确.

VITAMIN-E用了不同的方法, 它跟踪curvature的局部极值. 在我们的方法中, 特征点代表着图像intensities的curvature的极值.

让(f(x, y))表示图像, 图像的curvature是(kappa).

[kappa=f_{y}^{2} f_{x x}-2 f_{x} f_{y} f_{x y}+f_{x}^{2} f_{y y} ]

VITAMIN-E通过在图像序列跟踪curvature $kappa (x, y, t) $来建立点的匹配.

上图的(a)表示了这个过程的一个案例.

2.2 Dominant Flow Estimation

在检测了curvature的极值以后, 然后dominant flow(代表了optical flow的平均?), 它提懂了一个extrema tracking的一个很好的初值, 也使得起非常鲁邦.

然后我们决定在前后帧中的两点是不是匹配是用BRIEF的, 因为我们只需要判定粗略的特征点对, 特征匹配是在一个低精度的图上操作的, 一个1/6的图上.

然后我们拟合一个仿射变换(y= Ax+b), (x)和(y)表示特征点在之前帧和当前帧的位置. 然后(A)和(b)代表(2 imes2)的矩阵和2维的translation.

[E=sum_{i}^{N} holeft(left|oldsymbol{y}_{i}-left(A oldsymbol{x}_{i}+oldsymbol{b} ight) ight|_{2} ight) ]

用一个2d仿射model点在图像上的移动.

这里(N)是所有的匹配, 而( ho)表示M-estimation的核函数.

[ ho(x)=frac{x^{2}}{x^{2}+sigma^{2}} ]

注意VITAMIN-E不用传统的特征点匹配作为核心, 而是只是作先验信息.

2.3 Curvature Extrema Tracking

因为它是基于extrema而不是特征描述子, VITAMIN-E是对于由于噪声/光照变化有抗噪性的.

根据(A)和(b)的dominant flow, 我们先预测点(x_{t_0})的当前位置$$overline{oldsymbol{x}}{t{1}}$$

[overline{oldsymbol{x}}_{t_{1}}=A oldsymbol{x}_{t_{0}}+oldsymbol{b} ]

然后, 预测$$overline{oldsymbol{x}}{t{1}}$$会被修正到$$oldsymbol{x}{t{1}}$$, 通过下述的方程:

[F=kappaleft(oldsymbol{x}_{t_{1}}, t_{1} ight)+lambda wleft(left|oldsymbol{x}_{t_{1}}-overline{oldsymbol{x}}_{t_{1}} ight|_{2} ight) ]

这里(kappa)代表每个像素的curvature, 然后$$w(x)=1- ho(x)$$是一个evaluation function, 然后(lambda)表示预测的权重.

maximization是用hill climbing method在邻近的8个像素取得的. (w)会防止这个过程会坠入另一个错误的extrema.

注意在录像里极值太多了, dominant flow的预测还是很给力.

3. Bundle Adjustment for Dense Tracking

3.1 Bundle Adjustment

[E=sum_{i}^{N} sum_{j}^{M} holeft(left|oldsymbol{u}_{i j}-phileft(R_{j}^{T}left(oldsymbol{p}_{i}-oldsymbol{t}_{j} ight) ight) ight|_{2} ight) ]

这里(N)是特征点数，而(M)表示相机位姿数.

然后就是高斯牛顿:

[H delta oldsymbol{x}=-oldsymbol{g}, quad oldsymbol{x}=oldsymbol{x}+delta oldsymbol{x} ]

感觉schur complement要出现了:

[H=left[egin{array}{cc}{H_{c c}} & {H_{c p}} \ {H_{c p}^{T}} & {H_{p p}}end{array} ight], quad oldsymbol{g}=left[egin{array}{l}{oldsymbol{g}_{c}} \ {oldsymbol{g}_{p}}end{array} ight] ]

[egin{aligned}left(H_{c c}-H_{c p} H_{p p}^{-1} H_{c p}^{T} ight) delta oldsymbol{x}_{c} &=-oldsymbol{g}_{c}+H_{c p} H_{p p}^{-1} oldsymbol{g}_{p} \ H_{p p} delta oldsymbol{x}_{p} &=-oldsymbol{g}_{p}-H_{c p}^{T} delta oldsymbol{x}_{c} end{aligned} ]

在稠密的extrema跟踪中, (H)的size还是太大了.

3.2 Subspace Gauss-Newton Method

.. (回头再补, 目前不是太感兴趣)

4. Dense Reconstruction

有一大堆精准的3D点.

Meshing and Noise Removal: 首先把3D点投影到图像上,然后用Delaunay Triangulation来生成三角meshes. 然后我们用NLTGV最小化来移除mesh上的噪声. NLTGV最小化能够让meshes更加平滑, 然后保持局部的表面的结构. 不像其他的经典的mesh去噪算法, 比如laplacian smoothing.

Mesh Integration in TSDF

5. Experiment Results

我们用EuroC的左视图来测单目SLAM.

在VITAMIN-E中, 我们用P3P RANSAC 初始化相机, 然后三角化特征点. 这个过程都太快了, 所以我们对买一个帧都做, 而不是关键帧.

..

6. Conclusion

我们用了一个单目视觉SLAM方法重建了稠密的geometry.