【多视图几何】对极几何与基础矩阵

本文未指明图片来源为 Multiple View Geometry in Computer Vision 。

读 Multiple View Geometry in Computer Vision 所做笔记。

第 9 章 《对极几何与基础矩阵》，Epipolar Geometry and the Fundamental Matrix。

对极几何研究的对象是双视图几何，即两张相邻影像的位姿关系。

1. 对极几何基础概念

1. 核点（epipole）：基线（baseline）与成像平面的交点。同时极点也可以理解为相邻影像成像中心在本影像上的像，因为基线是两个相邻影像成像中心的连线。
2. 核平面（epipolar plane）：含有基线的平面，是一簇平面。可以看做是由基线与空间中任意一点构成的平面。
3. 核线（epipolar line）：核平面与成像平面的交线。可以看做是成像平面上的任意一点（非核点）与核点所定义的直线。

2. 基础矩阵 F

基础矩阵可以看做是将点投影（转换）为直线，将左影像上的一个点投影到右影像上形成一条核线。

2.1 几何推导基础矩阵

假设有一空间平面 (pi)，将 (pi) 上的点 $ X $ 投影到左右影像上，可以得到这个三维点在两张影像上的像 $ x, x^{prime} (，将空间平面上所有的点都进行投影，能够得到左右影像上所有点的对应关系，这种对应关系可以使用单应矩阵（homography matrix, page 87）) H_{pi} $ 描述：

[x^{prime} = H_{pi}x ]

右影像上的核线 $ l^{prime} $ 可以由两个点——右影像上的核点 $ e^{prime} $ 与右影像上的任意一点 $ x^{prime} $ ——确定：

[l^{prime} = e^{prime} imes x^{prime} = [e^{prime}]_{ imes}x^{prime} ]

将 $ x^{prime} = H_{pi}x $ 代入：

[l^{prime} = [e^{prime}]_{ imes}H_{pi}x = Fx ]

这样就得到了基础矩阵的定义：

[F = [e^{prime}]_{ imes}H_{pi} ]

因为 $ x^{prime} $ 在右核线 $ l^{prime} $ 上，所以点积为 (0) ：

[{x^{prime}}^{T}l^{prime} = {x^{prime}}^{T}Fx = 0 ]

2.2 代数推导基础矩阵

空间中三维点 $ X $ 反向投影到左影像上得到点 $ x $，这个过程可以用投影矩阵 $ PX = x $ 进行描述。

现在想办法将 $ X $ 用 $ x $ 表示，$ P $ 是一个 4x3 的矩阵，不可逆。使用 $ P $ 的伪逆：$ P^{+} = P^{T}{(PP{T})}^{-1} $，得

[X = P^{+}x ]

对于左影像 $ X $ 是对应一条直线上的所有点，可以使用下面的方程表示这一条直线：

[X(lambda) = P^{+}x + lambda C ]

现在将这一条直线投影到右影像上，即可得到右影像的核线。投影的方式是在 $ X(lambda) $ 上找到两个点，将这两点分别投影到右影像上，投影后的两个点确定右影像上的核线。

取 $ lambda $ 为0，得到直线上的第一个点 $ P^{+}x $ ，取 (lambda) 为 $ infty $ 得到直线上的第二个点 (C) （即左影像的成像中心）。将这个两个点分别投影到右影像上，得到 $ P^{prime}P{+}x $ 与 (P^{prime}C) 。$ P^{prime}C = e^{prime} $，左影像成像中心在右影像上的成像是核点。这两个点叉乘即可得到右影像上的核线：

[l^{prime} = (P^{prime}C) imes(P^{prime}P^{+}x) = [e^{prime}]_{ imes}P^{prime}P^{+}x = Fx ]

所以 $ F = [e^{{prime}]_{ imes}P}{prime}P^{+} $。

2.3 基础矩阵的性质

1. 转置对称性：如果 $ F $ 是一对影像 $ (P, P^{prime}) $ 的基础矩阵（即 $ x^{prime}Fx = 0 $ ），反过来 $ (P^{prime}, P) $ 的基础矩阵是 $ F^{T} $。证明很简单，直接对 $ x^{prime}Fx = 0 $ 两侧分别转置，得到 $ x^{T}F{T}{x^{prime}} = 0 $ 。
2. 核线：对于左影像上任意一点 $ x $ ，其在右影像上的核线为 $ l^{prime} = Fx $ 。
3. 核点：任何核线都会经过核点，所以有对于左影像上任意一点 $ x $ ，$ {e^{prime}}{T}l^{prime} = {e^{prime}}{T}(Fx) = 0 $ ，于是有 $ {e^{prime}}{T}F = 0 $ 。同理有 $ Fe = 0 $ 。
4. $ F $ 具有7自由度：一个 3x3 的单应矩阵，具有8个自由度，而 $ F $ 还满足 $ det F = 0 $，所以 $ F $ 具有7个自由度。
5. $ F $ 是相关的：$ F $ 将左影像上的一点 $ x $ 投影到右影像上一条核线 $ l^{prime} $，投影本质上是将 $ x $ 与左核点的连线 $ l $ 投影到右影像上的核线 (l^{prime}) ，所以右影像上的一条核线 $ l^{prime} $ 对应的是左影像上的一条核线 $ l $，这种点到线的投影不可逆。

2.4 核线的单应性

一张截图说明一切：

两张影像上核线的对应关系可以看作是中心投影，投影中心 $ p $ 位于核线上。

求左核线 $ l $ 对应的右核线 $ l^{prime} $ 是现在左核线上找一点 $ x $ 使用基础矩阵通过 $ l^{prime} = Fx $ 计算得到。 $ x $ 是任意的，只需要其在 $ l $ 上就行。可以通过做核线 $ l $ 与另一条不经过核点直线的交点计算得到 $ x $ 。假设另外一条直线为 $ k $，那么 $ l $ 与 $ k $ 的交点为 $ [k]_{ imes}l $ ，所以右核线的计算方法如下：

[l^{prime} = F[k]_{ imes}l ]

直线 $ k $ 选择为 $ e $ 能够简化计算，直线 $ e $ 肯定不会通过核点 $ e $ （$ e^{T} e eq 0$），所以对应核线的计算公式整理如下：

[l^{prime} = F[e]_{ imes}l ]

[l = F^{T}[e^{prime}]_{ imes}l^{prime} ]

3. 从特殊运动中推导基础矩阵

3.1 仅有位移

在仅有位移的情况下，左右相机的内参也一致，左右相机的投影矩阵可以写成 $ P = K[I | 0], P^{prime} = K[I | t] $， 由

[F=[e^{prime}]_{ imes}K^{prime}RK^{-1} ]

可以得到

[F = [e^{prime}]_{ imes} ]

计算两张影像上影像坐标的对应关系。

$ x= PX = K[I | 0]X $ 左影像的投影关系，现在反求空间点 $ X $ 的坐标，$ (X, Y, Z)^{T} = ZK^{-1}x $，其中 $ Z $ 是标量，表示 $ X $ 的深度。将 $ X $ 的坐标计算结果带入右影像的投影关系 $ x^{prime} = P^{prime}X = K[I | t]X $，可以得到 $ x^{prime} $ 与 $ x $ 的关系：

[x^{prime} = x + Kt/Z ]

3.2 旋转与位移

当两张影像相对位姿含有旋转与位移时，先将左影像进行旋转，与右影像对齐（具有相同的姿态）。于是将问题简化为上述的位移问题。

将一张影像仅做旋转，相当于将影像进行一次平行投影（投影点在无穷远处），如下图：

这个平行投影可以使用单应矩阵 $ H_{infty} $ 表示，$ H_{infty} $ 通过两张影像的投影矩阵计算得到。

[x = K^{prime}[I | 0]X ]

[x^{prime} = K[R | 0]X = KRK^{-1}K[I | 0]X = KRK^{-1}x ]

将上式的 $ x^{prime} $ 替换 $ x^{prime} = x + Kt/Z $ 中的 $ x $，即可得到最后的结果：

[x^{prime} = KRK^{-1}x + Kt/Z ]