基本概念
对极几何(Epipolar Geometry)是Structure from Motion问题中,在两个相机位置产生的两幅图像的之间存在的一种特殊几何关系,是sfm问题中2D-2D求解两帧间相机姿态的基本模型。
基本模型
其中c0、c1为两个相机中心,p为空间中一点,p在c0、c1对应像平面上的投影分别为x0、x1。c0、c1连线与像平面的交点e0、e1称为极点(Epipoles),l0、l1称为极线(Epipolar Lines),c0、c1、p三点组成的平面称为极平面(Epipolar Plane)。
对极约束(Epipolar Constraint)
对极几何中最重要的一条公式是对极约束(Epipolar Constraint),下面让我们来推导出这个约束条件。
根据针孔相机模型,相机成像平面一点的像素坐标p和该点在世界坐标系下的3D坐标P有$p=KP$的关系,如果用齐次坐标表示则有:
$$dp=KP$$
其中d是空间点深度(为了将p的齐次项变为1),K是相机内参数矩阵,p和P都是齐次坐标。
于是如果以第一个相机的坐标系为参照,对于两个相机则有:$$d_0p_0=KP,d_1p_1=K(RP+t)$$
其中R为旋转矩阵(Rotation),t为平移向量(Translation)。令$x = K^{-1}p$,去掉内参K归一化成:
$$d_0x_0=P, d_1x_1=RP+t$$
由这两式得:$$d_1x_1 = R(d_0x_0)+t$$
两边同时叉乘t消去加号后面单独的t项:$$t imes d_1x_1 = t imes Rd_0x_0+t imes t$$
进而:
$$t imes d_1x_1 = t imes Rd_0x_0$$
再在两遍同时左乘一个x1:
$$x_1^T (t imes d_1x_1) =x_1^T t imes Rd_0x_0$$
由于等号左边x1乘上了一个和自身垂直的向量,所以等于0,故:
$$x_1^T t imes Rx_0=0$$
该等式称为对极约束(Epipolar Constraint)。
对极约束的几何意义:x1、t、Rx0三者混合积为0,表示这三个向量共面,即上图中三角形的三边共面。
令$E =t imes R$,得到对极约束的新形式:
$$x_1^TEx_0=0$$
E称为本质矩阵(Esential Matrix),由外参数R和t决定。
本质矩阵的几何意义:$x_1^Tl_1=0$,即x1在直线 $l_1=Ex_0$上,表示E将x0投影到另一帧图像中的直线l1上。
使用方法
有了对极几何的模型,2D-2D的相机姿态可以通过如下过程求解:
①通过多组对应点(Correspondence)进行帧间匹配,求出本质矩阵E。
②通过对E进行分解求出外参数R和t,即相机姿态。
具体过程参见另一篇博文——相机姿态估计(Pose Estimation) 中2D-2D情形。