1， 胎儿MRI及其特点
在产前影像检查中，超声是最常用的成像方式，但是由于对比度低、视野狭窄、信噪比低等原因不能不能很好地显示胎儿的细节结构，例如发育中的大脑、内脏等。如果超声检查中发现胎儿的一些疑似结构异常，使用MRI可以作为补充检查，提供更详细的结构信息，因为MRI有较好的软组织对比度，视野较大，信噪比高，无辐射，并且可以采集任意切面的图像信息，能看到一些超声中不易发现的结构。胎儿MRI正成为日益重要的一种影像检查。
但是MRI采集过程通常较长，而胎儿可能在这段时间会有运动，容易造成运动伪影。因此，临床上使用快速成像方式，比如SSFSE，该成像方式可以以不到一秒的时间得到一张高分辨率的二维切片，但是不同切片之间仍然受到胎儿的运动影响，相互之间有位移偏差，并且层间距较大，一般是3-4mm，因此得到的三维数据实际是由一堆二维切片叠起来的，称之为一堆（stack），其三维分辨率低，如下图所示。
左图是一张胎儿大脑的二维切片（冠状面），中和右图是与之正交的两个其他方向（矢状面和横截面）的图像。可以看到除了冠状面以外，从其他方向看，图像受到胎儿运动的影响，分辨率也很低。
由于MRI可以从不同截面采集数据，通常胎儿MRI可以分别从冠状面、矢状面和横截面等三个正交方向进行采集，以得到分别在三个方向分辨率高的二维切片， 如下图中stack1-stack3。这三个stack提供了互为补充的分辨率信息，但都没有高的三维分辨率，并且相互之间由于胎儿或者母亲在扫描过程中的运动而没有对齐。
高分辨率重建的原则就是将stack1到stack3或者更多低三维分辨率的stack结合起来，产生一个在不同方向都具有高分辨率的图像，如上图中最后一行所示。
2， 高分辨率重建的流程
2.1 第一代方法：ROI提取、配准、对比度校正和插值
步骤1： 在采集到不同截面的几个stack数据后，先要感兴趣的区域提取出来，以避免其他区域的干扰。例如要对胎儿的大脑进行重建，需要将脑部区域分割出来，去除母体组织和胎儿的其他组织。这个过程可以使用手动分割、半自动或者全自动的分割方法。
步骤2：不同的低分辨率图像（stack）之间需要对齐，这个过程一般使用三维刚性配准。受到运动影响较小的一个低分辨率图像可作为参考图像，将其坐标空间定义为目标高分辨率图像的坐标空间，并将其他低分辨率图像向参考图像配准。
步骤3：由于同一个stack中的不同切片仍然存在位移偏差，需要再将各个切片对齐到高分辨率图像的坐标空间。这个过程是一个二维切片与三维数据之间的配准，称之为SVR（slice to volume registration），初始的高分辨率图像由步骤5得到。
步骤4：将各个stack和切片都配准后，考虑到不同的stack之间存在的灰度偏移，可能存在不一致的灰度信息和对比度信息。因此选择一个参考图像，将其他图像的对比度调整到与之接近。
步骤5：完成上述步骤后，各个图像之间和切片之间的相对位移和不一致的对比度得到矫正，可以插值得到一个的高分辨率图像。对于原始低分辨率图像中的各个像素x和其在高分辨率图像中对于的坐标点y， 使用一个函数f将x的灰度值插入到重建图像中，f是一个以y为中心的核函数。f可以是高斯函数，或者B-样条插值函数等。为了与图像采集的物理过程更吻合，f一般需要与数据的点分布函数（point spread function, PSF）匹配。对于MRI，点分布函数沿着切片垂直的方向可当做高斯函数，而在切片之内可当做sinc函数。
由于初始的SVR配准存在较大误差，步骤3和步骤5可以交替进行多次，以得到更好的结果。
上述流程是在 （Rousseau 2006）这篇文章中首次提出的(代码)。(Kim 2010) 认为该方法由于在做SVR配准之前需要得到一个初始高分辨率图像，而该初始高分辨率图像并不准确，会影响配准的效果，进而影响最终的重建结果，另外由于多次迭代，计算量大。(Kim 2010)提出直接将所有的切片配准，不依赖于初始高分辨率图像，该文章中使用了一种基于切片相交线的配准方法，如下图所示：
该方法的出发点是，同一个物体的两个正交的图像切片总存在一条交线，这两个切片可以通过调整空间变换的参数，使它们在相交线上的灰度达到最大程度匹配进而将他们对齐， 该配准方法的目标函数为
其中
是来自同一个物体的N张不同的切片，
是他们各自的空间变换参数。
是一个衡量两个不平行的切片 i 和 j 在相交线上灰度吻合程度的函数，定义为：
其中
是相交线的参数化表示，其参数为
是一个权重函数。通过对该目标函数使用基于梯度下降法的最优化方法求解，可达到所有切片最优对齐的结果，对齐后可以再使用插值法（例如上述步骤5）得到重建的高分辨率图像。
2.2 第二代方法：基于逆问题的最优化重建
（Rousseau 2006）和 (Kim 2010)比较直观，但是缺少数学表达，通过插值法得到的高分辨率图像也不是最优解。在数字图像处理领域，高分辨率图像重建一般通过逆问题的最优化解来实现。（ Gholipour 2010）将这一思想首次应用到胎儿MRI的重建，图像采集的过程可以描述为：
基于逆问题的最优化重建，就是求解，使如下代价函数最小化：
其中可以是l2范数，这种情况下假设
是服从高斯分布的噪声。如果噪声服从拉普拉斯分布， 则可使用l1范数。为了使重建过程对奇异值不敏感，得到稳定的重建结果，（Gholipour 2010）将
定义为Huber函数：
其中是对重建结果按照成像方式得到的低分辨率图像与观测到的低分辨率图像之间的差异。当
较小时，
接近l2范数，而当
较大时，
接近l1范数。
由于逆问题的的解不是唯一的，通常要对目标函数加上约束条件，例如l2范数的规范化约束，目标函数变为：
再做超分辨率最优化重建之前，各个低分辨率图像也需要先配准，并且使用插值法得到一个初始高分辨率图像。因此重建的流程为：
由于上述规范化方法倾向于使图像显得平滑，不能很好地保留图像中的边缘信息。
(Kuklisova-Murgasova 2012)对（Gholipour 2010）进行了扩展，其贡献有三点：其一，为了防止图像太平滑，使用保留边缘的规范法方法，将规范化项设定为：
其中, d代表两个相邻像素间的位移向量。其二，(Kuklisova-Murgasova 2012)还提出了更好的提高重建鲁棒性的方法，相较于使用Huber函数，该文章使用EM算法对每一个像素和每一个slice属于正常范围和奇异值的概率进行建模。第三，该文章考虑了MRI成像过程中由于磁场强度不均匀而造成的灰度偏移问题，将实际采集到的图像灰度表示为：
其中是每一张slice中的灰度倍数因子，
是每一个像素的偏移场参数。将上式代入超分辨率重建的目标函数中，可以对
和
分别求导，从而可用梯度下降法求得最优值。
(Kuklisova-Murgasova 2012)将SVR和重建过程交替迭代多次，整个流程图为：
该方法和使用Huber函数的方法及不考虑灰度偏移的方法的对比如下：
（Kainz 2015 代码)在 (Kuklisova-Murgasova 2012)的基础上，提出了基于GPU的快速重建方法，对SVR和SR的部分都使用了GPU的优化。使用三个stack的数据，目标体素大小为1.0mm的重建，使用单个CPU重建的时间为76.38min,而使用单个GPU重建的时间为5.70min。该文章还提出了一种自动选取受到胎儿运动影响最小的stack作为三维配准的参考图像的方法。
上述的所有方法都有两个显著的缺点：一是重建的区域较小，比如仅局限于胎儿的大脑或者其他单个器官，无法得到清晰的整个胎儿图像。二是使用刚性配准，假设一张slice中所有部位都朝着一个方向运动。这也是限制能够重建的区域的大小的原因。 (Alansary 2016 代码)在（Kainz 2015）的基础上，提出了可以重建整个胎儿区域的方法。其核心是Patch-to-Volume Registration，即PVR。为了解决配准中复杂的变换，PVR将一个slice分解成若干个子区域，对每个子区域分别进行刚性配准，计算各种的空间变换。这样的方法，就能够使整个胎儿区域都有比较好的配准。
其中子区域的划分，可以使用基于格子的方法，也可以使用super pixel。完成PVR配准后，再使用(Kuklisova-Murgasova 2012)和（Kainz 2015）所提出的超分辨率重建方法，流程图如下：
下图是对整个胎儿区域重建前后的对比：
2.3 第三代方法：使用深度学习的配准和重建
最近已经开始有不少的工作尝试使用深度学习来解决高分辨率重建的问题，例如<深度学习在图像超分辨率重建中的应用>这篇博文所提到的。在胎儿MRI重建（或与之类似的心脏MRI重建）的问题中，两个基本的子问题：slice的对齐和对齐后的SR问题，都可以使用深度学习来解决。
心脏MRI也存在目标运动带来的问题，与胎儿MRI类似，也可以利用多个受到运动影响的stack重建一个高分辨率的图像。 （Oktay 2016）提出了一个使用CNN重建心脏MRI的方法，如下图所示：输入是一幅心脏短轴图像和一幅长轴图像，将二者按照相同的坐标格子重采样以后得到同一个坐标格子上的两幅图像，分别对它们使用基于CNN的卷积，得到特征图，然后将二者融合在一起，再经过几次卷积，得到最后的输出。
该方法的重建效果如下：
（McDonagh 2017）受到（Oktay 2016）的启发，将相关的方法用到胎儿MRI中来。其流程图如下，其想法是对初始的低分辨率stack使用CNN得到对应的高分辨率stack, 但是stack之间和同一个stack的内部的motion问题没有解决，因此再使用SVR做重建。
（Hou 2017）尝试使用卷积神经网络来预测SVR中的2D slice到3D volume的变换参数，将其视为一个回归问题。 由于SVR的配准需要一个比较好的初始变换参数，否则容易得到局部最优值而无法有很好的配准效果，初始变换参数越接近于最优解，配准过程就越快，效果就越好。
其方法如上图所示，对于一个stack中的每一个slice，将其作为CNN 的输入，预测变换参数是通过预测三个参考点的坐标来进行的。以此得到初始变换以后，再通过SVR来进行重建。
总结：胎儿MRI的重建是利用不同方向采集的若干个低分辨率的并且受到运动影响的stack重建出一个高分辨率的体数据。主要包含两步，一个是stack之间的配准和slice到volume的配准，一个是对配准后的图像使用SR技术。目前大多数的方法都只考虑刚性变换和较小的区域。最近深度学习开始用到这个问题上来，配准问题和SR问题都可以使用深度学习来完成，从而可得到更快、更好的结果。
参考资料：
【1】Rousseau, Francois, et al. "Registration-based approach for reconstruction of high-resolution in utero fetal MR brain images." Academic radiology 13.9 (2006): 1072-1081. 代码
【2】Kim, Kio, et al. "Intersection based motion correction of multislice MRI for 3-D in utero fetal brain image formation." IEEE transactions on medical imaging 29.1 (2010): 146-158.
【3】Gholipour, Ali, Judy A. Estroff, and Simon K. Warfield. "Robust super-resolution volume reconstruction from slice acquisitions: application to fetal brain MRI." IEEE transactions on Medical Imaging 29.10 (2010): 1739-1758.
【4】Kuklisova-Murgasova, Maria, et al. "Reconstruction of fetal brain MRI with intensity matching and complete outlier removal." Medical image analysis 16.8 (2012): 1550-1564.
【5】Kainz, Bernhard, et al. "Fast volume reconstruction from motion corrupted stacks of 2D slices." IEEE transactions on medical imaging 34.9 (2015): 1901-1913. 代码
【6】 Alansary, Amir, et al. "PVR: Patch-to-Volume Reconstruction for Large Area Motion Correction of Fetal MRI." arXiv preprint arXiv:1611.07289 (2016). 代码
【7】Oktay, Ozan, et al. "Multi-input Cardiac Image Super-Resolution Using Convolutional Neural Networks." MICCAI 2016.
【8】 Hou, Benjamin, et al. "Predicting Slice-to-Volume Transformation in Presence of Arbitrary Subject Motion." arXiv preprint arXiv:1702.08891 (2017).
【9】McDonagh, Steven, et al. "Context-Sensitive Super-Resolution for Fast Fetal Magnetic Resonance Imaging." arXiv preprint arXiv:1703.00035 (2017).
【10】 深度学习在图像超分辨率重建中的应用