基于无监督的医学图像配准与图谱生成方法的介绍

MICS科研简讯第七期

近年来，深度学习算法以配准速度快、精度高等优势在医学图像配准领域中取得了一系列进步。现有的深度学习算法中，基于监督学习的方法虽然在速度与精度方面都有了提升，但是仍需要大量难以获取的标注信息，而无监督算法克服了图像标注的困难，以相似性测度为优化目标，通过优化空间变换实现了配准。

所谓图谱，在本文中特指具有人群代表性的医学影像（如标准人脑MRI图像），也有论文将其称为模板影像。图谱生成，又可称为模板影像估计，通过几何变换来匹配数据集中图像并生成代表性图谱图像。在医学影影像分析研究中，通过将个体图像与图谱配准，可以进一步来分析图谱与个体图像之间的空间变换，了解个体图像与图谱之间的解剖形态和像素值差异。两幅图像之间的空间对齐或配准方法是图谱生成的基础，深度学习方法在医学图像配准领域的发展极大地促进了图谱生成技术的进步。

今天为大家三篇相关领域的优质论文，第一篇基于无监督学习的配准方法中提出的配准框架voxelmorph是目前流行的一款配准网络框架，使用该方法能够快速配准脑部图像和其他3D图像，其原文以及后续的改进算法相继在CVPR、MICCAI、TMI发表。第二篇基于卷积神经网络的图谱生成方法则是在voxelmorph配准框架的基础上进一步改进完善，增加了部分新的网络结构使其能够生成基于全局参数的无条件图谱以及条件化的图谱，通过该图谱能够基于输入的特征（如年龄、性别等）快速生成与输入特征相对应的图谱图像，此论文发表于2019年的Medical Image Analysis杂志。前两篇论文的逻辑关系是后者用到了前者所提出的技术，且都出自于MIT的研究团队。第三篇基于对抗性学习的图像配准方法利用对抗相似网络自动判断图像的相似度，解决了图像配准在不同应用场景下相似性度量选择的难题，该方法在单一、多数据集以及单模态、多模态之间的配准任务上都能取得最佳的综合性能。本文发表于2019年的Medical Image Analysis杂志。接下来详细介绍这三篇论文：

1. An Unsupervised Learning Model for Deformable Medical Image Registration^[1]

医学图像的变形配准策略通常包括两步：第一步是实现全局对齐的仿射变形，然后是速度较慢具有高自由度的变形变换。本文主要关心的是第二步。本文提出的网络结构如图1所示，具体方法是从多对配准数据中参数化配准函数，该参数化函数使用卷积神经网络进行训练，网络的输入端为一组浮动图像M与参考图像F，输出端为基于参数θ的变形场

，其中θ代表了卷积层的核函数。为了优化浮动图像M与参考图像F之间的差异，采用了标准的基于梯度的计算方法，构建了空间变换网络来计算得出最终的配准结果，其中空间变换层的作用是使得神经网络能够在不需要监督标签的情况下实现全局参数的图像对齐和图像空间变换。通过图像的灰度值来最大化一对图像之间相似程度的损失函数，该损失函数包括两部分：相似性损失和平滑损失，其中相似性损失是用来衡量配准后的图像

与参考图像F之间相似性，而平滑损失则是使浮动图像F通过空间变换层产生的形变具有空间平滑性。

图1  voxelmorph配准框架

通过全部数据之间的参数共享，可以实现对其中任何一组具有相同分布的图像进行对齐配准操作。该方法的根本原理是使用一个全局的代价函数来替换传统配准方法中对每个配准图像复杂重复的优化步骤，新的待配准图像可通过网络学习到的参数实现快速配准。该项工作的创新之处是：（1）提出一种无监督学习的图像配准方式，不需要任何监督信息，如训练过程中的ground truth 或解剖标志信息；（2）提出一个跨种群参数共享的CNN函数，通过对该函数的优化来实现配准；（3）可以对各种代价函数进行参数优化进而胜任不同任务。

值得注意的是，图1框架中展示的类似u-net的卷积神经网络在本文提出了两种架构变体（voxelmorph1与voxelmorph2），在精度与计算时间上进行权衡，一个是注重配准精度，另一个是注重配准时间。结构如下图2所示：

图2  卷积神经网络两种不同的变体

本文的训练数据为来自8个公开数据集共计7829组t1加权的大脑MRI图像。图像的预处理步骤包含了重采样、仿射空间归一化、大脑提取、裁剪。通过Dice系数来评估图像配准的准确程度，下表1显示了voxelmorph模型的表现效果与图像配准工具ANTs相当，但速度更快。Voxelmorph2的表现略好于voxelmorph1，voxelmorph1则在配准速度上更优。

表1  配准结果评估表

通过图3的箱型图我们能够看到大脑内部各部分组成的精确配准情况，比如丘脑和脑干，voxelmorph模型的配准结果与ANTs的Dice值想当，在大脑白质等结构上表现略好于ANTs,而在海马体等其他结构上表现则差于ANTs。

图3  配准结果评估箱型图

2. Learning Conditional Deformable Templates with Convolutional Networks^[2]

传统的图谱构建与图像配准方法经历了几十年的发展，采用图谱估计与图像对齐的迭代过程构建，由于计算成本与时间成本花费巨大，图谱生成是一项代价非常昂贵的工作。因为这个缺点，大部分的图谱生成方法是为整个数据集整体计算一个平均图谱，或者根据数据的特定属性分类计算几个图谱。本文提出了一个基于离散同构的概率模型和有效的学习策略，使用卷积神经网络开发了一个通用的端到端的框架，可以为任何新图像快速提供变形场。该框架还允许学习给定实例属性生成条件化函数，如 MRI 图像中受试者的年龄和性别。一旦学会了这个函数，就可以快速地合成符合输入条件的图谱。例如，输入年龄（35岁）和性别（女性），它可以为35岁的女性构建一个参考3D大脑MRI图谱图像。

本文的框架结构如图4所示，可以将该模型分为两个部分来看，第一部分是图中左上部分的译码器部分，该译码器以属性向量

作为输入来预测一个图像模板t，该图像模板t与真实图像

作为输入到一个无监督的配准网络当中，该配准网络是在上述介绍的voxlemorph框架的基础上进行改进的模型，该配准网络以图像模板t和真实图像

作为输入，输出速度场

，再根据速度场通过积分的方式计算出对应的变形场

，然后通过空间变换函数实现图像模板t到真实图像

之间的配准。如果不采用条件化的生成方式，即输入没有属性信息的时候，则可以直接学习生成图像模板t。网络参数使用随机梯度下降来更新，通过每次迭代优化，网络学习后输出一个图谱(可选以属性数据为条件)，这个图谱可以平滑、可逆地扭曲到数据集中的每个图像。

图4  图谱生成框架流程图

实验包含了两个部分，第一部分使用的是MNIST 数据集，在原有数据集的基础上，本文使用了图像增强将原数据集扩增为一个图像比例因子在0.7-1.3和一个图像旋转范围在0到360度的数据集，如下图5所示，这些变化模拟了数字的尺寸和旋转属性，目标是了解所提出的方法是否能够学习到这些属性所对应的图像和标准数字图像之间的几何变换关系，从而生成一个根据属性生成随需应变的生成函数。

图5  MNIST数据集以及对其旋转缩放结果图

下面分析两个实验结果，一个缺失属性和一个隐藏属性的实验。其中缺失属性的实验指在输入的特征属性中去掉某些样例的某些属性，例如下图去掉数字3-5在尺度为0.9到1.1之间的训练样例，其它数字仍然保留了在这个尺度之间的训练样例，或者去掉大多数数字5的训练样例，只保留极少数的训练样例，观察是否生能够成对应的图像。实验结果如图6所示。红色方框表示的为根据本文方法生成的图像，结果表明该方法能够利用整个数据集学习输入的属性之间的变化关系。

图6  缺失属性实验。左图：训练时缺少数字3-5在0.9-1.1尺度的样本。右图：训练时去除数字5大部分样本，只保留少数。红框内表示本文方法生成的缺失数字。

隐藏属性的实验是指完全去掉输入特征属性中的某些属性，比如在原有维度的基础上缺少了digit维度信息，观察生成图像能否学习到该隐藏属性。实验结果如下图7所示，第一行显示实例输入数字，中间一行显示了本文方法对输入图像的重构，可以看到实验结果中大部分是正确的，主要是出现了数字4和数字9之间的错误判断。最后一行表示本文中重新构建的一个自动编码器对输入图像进行的重构，可以看出图像较为模糊，表明自动编码器的学习是图像像素强度的差异，而本文的方法则学习到的是图像的几何差异。

图7  隐藏属性实验。第一行显示实例输入数字，中间一行显示了本文方法对输入图像的重构，下面一行显示了使用一个自动编码器进行构建的模板。

第二个实验是通过该方法学习到的无条件和有条件的三维大脑 MRI图像，本文使用来自公开数据集的 7829组 t1 加权的大脑 MRI 图像，所有的训练数据都被用来建立一个无条件的模板，并使用 ADNI数据集以及对应的年龄与性别标签生成了条件化的模板。如下图8所示，左图为生成的单个无条件模板，表示整个种群特征。右图为15到90岁的大脑 MRI的条件模板，由于随着年龄的增长，正常人大脑变化为脑沟变宽，脑回变窄，脑室扩大，该生成图像变化规律符合人体正常的生长变化规律。

图8  生成的三维脑MRI图像切片。左图：单个无条件模板。右图：从左至右为15到90岁的大脑MRI的条件模板。

3. Adversarial Learning for Mono-or Multi-Modal Registration^[3]

基于无监督学习的配准方法是指通过最大化一对图像之间的相似度（如误差平方和(SSD)和互相关信息(CC)等）而不需要ground truth的图像变形的方法。然而，对于不同的配准目标与应用场景，通常很难确定最有效的相似性度量，目前多数基于相似性度量的无监督配准算法可以很好的解决单模态图像配准问题，但在处理多模态图像配准时，这个问题就会变得具有挑战性。该文提出了一种方法使用对抗相似网络自动判断图像的相似度，替代传统方法中人为定义的相似度指标。本文方法的网络框架结构如图9所示，通过空间转换层连接一个基于U-net的生成器和一个基于CNN的判别器来实现。训练步骤包括：

（1）将固定图像

和参考图像（参考图像的生成方式如图10）作为positive case送入到辨别网络D中，辨别网络D确定输入的图像的是否相似，将配准正确的图像称之为positive case，未对齐的图像称之为negative case；这里的关键问题在于如何定义positive case（也就是参考图像与固定图像组成的图像对），因为只有成功定义了positive case，才可能有效训练判别网络。作者针对单一模态配准和双模态配准这两种情况给出了不同的positive case定义：

对于单一模态，作者认为当参考图像I_R等于固定图像I_F时，I_R与I_F组成的图像对是最理想的positive case；而当I_F与I_R略有不同时，也可以认为二者组成了positive case；但是当I_F与I_R差异较大时，则认为二者组成了negative case。基于这个原则，作者把参考图像定义为I_R=a*I_M+(1-a)*I_F，并对a随机较小的值生成多个positive case的参考图像。再训练初期，取a<0.2，这样条件比较宽泛便于训练收敛；在训练后期，取a<0.1，以便收紧约束提高判别能力。

对于双模态配准，由于I_F与I_M的灰度特征迥异，显然无法用a*I_M+(1-a)*I_F的方式来简单生成参考图像了，只好选取同一病人已配准好的I_F与I_M组成positive case。

（2）将配准网络得到的变形场

与浮动图像

通过空间变换层输出配准结果

，作为negative case送入到辨别网络D中，使辨别网络D学习到未对齐的图像是什么样子的；

（3）将浮动图像

和固定图像

分别输入到配准网络R中，使配准网络R学习如何生成能够在辨别网络D中得到高分的变形场。采用对抗性的训练方式，迭代上述步骤对网络R和D进行优化，直到辨别网络D不能区分positive case和negative case时，算法收敛。

图9  可变形图像配准的对抗相似网络

图10  辨别网络中正反两种情况的定义。a)单模态图像的定义。b）多模态图像的定义

本文的实验结果包含了单模态与是多模态配准两个部分，首先是单模态配准的实验，使用了四个公共数据集LPBA40、IBSR18、CUMC12和MGH10。其中训练图像全部来源于LPBA40数据集中的30名受试者图像，该数据集剩余的10名受试者图像以及其他三个数据集作为测试样本，数据预处理包含了仿射对齐、重采样、裁剪等操作。在LPBA40数据集的测试结果如图11所示，使用DSC系数对于54个脑感兴趣区域（ROI）的配准结果进行评估，可以看出本文算法在54个ROI中有42个达到了最佳性能。其余12个ROI的性能与其他深度学习配准算法相当，并且有35例ROI的改善有统计学意义。

图11  LBPA40数据集中的10个测试对象的54个ROIs的DSC值的箱型图。配准方法1）监督学习；2）相似性度量SSD和CC；3)本文提出的对抗相似网络。“+”标记具有统计学意义。

为了评估本文算法的普适性，本文使用在LPBA40数据集上得到训练模型，对IBSR18、CUMC12和MGH10数据集中的图像进行了配准测试，结果如下表2所示：其中平均DSC是根据每个数据集的所有ROI计算出的，ASD是根据代表白质和灰质边界的表面计算出的。可以看出，所有的深度学习方法在LPBA40上都能取得很好的效果，但是对于未知的数据集，除了本文所提出的方法外，其他的方法配准效果欠佳，表明本文方法对单一数据集以及跨数据集之间的配准任务都能取得最佳的综合性能。

表2  在LPBA40, IBSR18, CUMC12，和MGH10数据集上不同配准方法的对比

多模态配准实验在22名前列腺癌患者的盆腔MRI和CT图像上进行，图像中的前列腺、膀胱和直肠均由医生手动标记，所有CT（固定图像）和MRI（浮动图像）在训练之前已线性配准到同一空间，从配准结果图像12以及结果评估表格3可以看出，本文的方法可以有效地对多模态图像进行配准。

图13  多模态配准结果。红色曲线为CT图像上的ROI，绿色区域为MRI图像上对应的ROI

表3  盆腔数据配准的定量结果

下表4给出了所有基于深度学习的配准方法的雅可比行列式值为负的体素的平均数量。结果表明，在这些基于深度学习的配准方法中，本文的方法产生了最小数量的雅可比行列式为负的体素。

表4 不同深度学习配准方法的雅可比行列式值为负的体素的平均数量

总的来说，近几年随着深度学习的发展，图像配准与图谱生成的研究方法逐步由传统方法转变为深度学习方法，进一步发展出有监督、部分监督或无监督子类别。无监督图像配准算法由于解决了需要标签信息的难题成为了目前的研究热点，然而对于多模态图像的配准，图像的相似性测度的选择仍然是一项巨大的挑战，尽管目前已有学者采用基于信息论的相似性测度或应用GAN来解决这一难题，但我们还是希望在将来能够看到更多的论文来解决这个具有挑战性的问题。另外，基于深度学习的图像配准方法虽然具有速度快的优势，但其毕竟是一种数据驱动的算法，仅适用于与训练数据同类的医学图像，对于不同身体部位、影像模式、采集参数的图像都要做专门的训练，这也是目前深度学习图像配准算法的局限性之一。

本文作者：  翟浩宇