图像分割是许多医学应用中的一项重要任务。 基于卷积神经网络的方法获得了最先进的精度；然而，它们通常依赖于带有大量的标记数据集的监督训练。 标记医学图像需要大量的专业知识和时间，而传统的手工调整的数据扩增方法无法捕捉这些图像中的复杂变化。
本文提出了一种用来合成有标记的医学图像的自动数据扩增方法。本文通过分割磁共振成像(MRI)脑扫描（图像）的任务展示了本文的方法。 本文的方法只需通过一次分段扫描，并用一种半监督学习方法对其他无标记扫描（图像）产生影响。 本文从图像中学习一个转换模型，并使用该模型与标记样本一起合成扩增标记样本。 每个变换都由一个空间变形场和一次强度变化组成，从而能够综合复杂的效应，如解剖和图像采集过程的变化。 本文认为用这些新样本来训练一个有监督的分割器，比目前最先进的一次性生物医学图像分割方法提供了显著的改进。
语义图像分割对于许多生物医学成像应用是至关重要的，如人口分析、诊断疾病和治疗规划。当有足够的标记数据可用时，基于监督的深度学习分割方法会产生最先进的结果。然而，手动获得医学图像的分割标签需要相当多的专业知识和时间。在大多数临床图像数据集中，几乎没有手动标记的图像。有限的标记数据的问题由于机器和机构之间图像采集程序的差异而加剧，这可能会在分辨率、图像噪声和组织结构的外观方面产生广泛的变化。
为了克服这些挑战，许多有监督的生物医学分割方法侧重于手工设计的预处理步骤和架构。使用手工调整的数据扩增来增加训练样本数量也是常见的。 随机图像旋转或随机非线性变形等数据扩增函数易于实现，在某些设置中有效地提高了分割精度。 然而，这些函数在模拟实际变化方面的能力有限，并且对参数[25]的选择非常敏感。
本文通过学习综合多样化的真实标记样本来解决有限标记数据的挑战。本文的新的自动扩增方法是利用未标记的图像。使用基于学习的注册方法，本文对数据集中图像之间的空间和外观转换集进行建模。这些模型捕捉了未标记图像中的解剖和成像多样性。本文通过采样转换来合成新的样本，并将它们应用于单个标记样本。
本文证明了本文的方法在脑磁共振成像(MRI)扫描的一次分割任务中的效用。 本文使用本文的方法合成新的标记训练样本，使有监督分割网络的训练成为可能。 该策略优于目前最先进的一次性生物医学分割方法，包括单 atlas 分割和手工数据扩增下的监督分割。
图 1：生物医学图像在解剖、对比和纹理（顶部一行)方面经常变化很大）。 与其他一次性分割相比，本文的方法能够更准确地分割解剖结构 方法（底部行）。
2.1 医学图像分割
本文专注于脑 MR 图像的分割，这是具有挑战性的工作。首先，人类大脑[28,59,76]表现出大量的解剖性变异。其次，MR 图像强度因特定于缝合线的噪声、扫描仪协议和质量以及其他成像参数的[45]不同而不同。 这意味着组织类可以在不同的图像中，甚至是相同 MRI 模式的图像中以不同的强度出现。
许多现有的分割方法依赖于扫描预处理来减轻这些与强度相关的挑战。预处理方法可能运行成本高昂，开发现实数据集的技术是一个活跃领域。本文的扩增方法从另一个角度解决了这些与强度相关的挑战：它使分割方法对 MRI 扫描中的自然变化具有鲁棒性，而不是去除强度变化。
大量的经典分割方法使用基于 atlas 或 atlas 引导的分割，其中标记的参考体积或 atlas 使用变形模型与目标体积对齐，标签使用相同的变形[6,13,22,32]传播。 当多个 atlas 可用时，它们每个对齐到一个目标卷积，扭曲的 atlas 标签被融合[36,41,68,78]。在基于 atlas 的方法中，受试者之间的解剖变异被一个变形模型捕获，并且使用预处理扫描或强度鲁棒性度量（如归一化互相关）来减轻强度变化的挑战。 然而，组织外观的模糊性(例如。 不清楚的组织边界、图像噪声)仍然会导致不准确的记录和分割。本文通过在不同的现实例子上训练分割模型来解决这一限制，使分割器对这种歧义更加健壮。本文专注于拥有一个单一的 atlas，并证明本文的策略优于基于 atlas 的分割。如果有多个分段样本可用，则可为本文方法所用。
生物医学分割的监督学习方法近年来得到了广泛的应用。为了减少对大量标记训练数据集的需求，这些方法通常使用数据扩增以及手工设计的预处理步骤和架构[2,40,53,57,63,65,82]。
半监督和无监督的方法也被提出用来应对训练小型数据集的挑战。 这些方法不需要配对图像和分割数据。相反，它们利用分割集合来构建解剖先验[21]，训练对抗性网络[39]，或者训练一个新的语义约束[29]。在实践中，图像集合比分段更容易获得。本文的方法偏向于利用一组未标记的图像而不是依赖分割。
2.2 空间和外观变换模型
形状和外观模型已被用于各种图像分析。 [31,44,50]参数空间变换模型已被用于对手写数字进行对齐和分类。 在医学图像配准中，利用空间变形模型建立图像之间的语义对应关系。这一成熟的领域涵盖了基于优化的方法[4,7,67,70]，以及最近出现的基于学习的方法[8,9,20,42,62,72,80]。本文利用 VoxelMorph[8,9]——一个基于学习的无监督学习方法，学习空间变换。
许多医学图像配准方法集中在强度正规化图像或与强度无关的目标函数上，没有明确地解释图像强度的变化。对于未正规化的图像，强度变换模型已用于从 MRI[44,79]中去除偏置场效应。空间和外观变换模型一起被用来配准形状和纹理不同的对象。许多工作建立在形态模型[38]或 AMMs[15,16]——一个构造了形状和纹理的统计模型的框架之上。AAMs 已被使用于定位解剖地标[17,58]并执行分割[52,56,77]。本文通过使用卷积神经网络来学习无约束空间和强度变换的模型来建立这些概念。本文不是以配准或分割为最终目标而学习转换模型，而是从这些模型中取样，以合成新的训练样本。正如本文在实验中所知，以这种方式来扩增分割器的训练集可以产生比直接使用变换模型进行分割获得更健壮的结果。
图 2：拟议方法的概述。 本文学习独立的空间和外观变换模型来捕捉图像数据集中的变化。 然后，本文使用这些模型合成一个 dat 标记示例的 ASET。 该合成数据集用于训练监督分割网络。
2.3 少量分割自然图像
少量分割是语义分割和视频对象分割中一项具有挑战性的任务。 当前 方法主要集中在自然图像上。小样本语义分割的方法包含了要[24,69]分割的类的典型样本的信息。通过将每帧中的对象对齐到标记的参考帧[37,75]，很少镜头视频分割经常实现。其他方法利用大量标记的补充信息数据集，如对象外观[11]，或包含其他信息，如人为输入[60]。 医学图像与自然图像提出了不同的挑战；例如，与自然图像中物体之间的差异相比，组织图像之间的视觉差异是非常微妙的。
2.4 数据扩增
在基于图像的监督学习任务中，通常使用简单的参数化转换（如旋转和缩放）来进行数据扩增。对于医学图像，随机光滑流场被用来模拟解剖变化。 这些参数化转换可以减少过拟合，提高测试性能[34,43,51,63,64]。 然而，这些转换所带来的性能增根据转换函数和参数设置[25]的选择而变化。
最近的工作提出了从数据中学习数据扩增转换。 Hauberg 等人。 [31]专注于用于分类 MNIST 数字的数据扩增。他们学习特定于数字的空间转换，并对图像和转换进行样本训练，以创建旨在提高分类性能的新样本。除了空间模型外，本文还学习了一个外观模型，本文重点研究了 MRI 分割问题。 最近的其他工作侧重于学习简单转换函数的组合(例如：旋转和对比度增强)对自然图像[18,61]进行数据扩增 Cubuk 等人。[18]使用搜索算法来找到最大化分类精度的扩增策略。 Ratner 等人学会通过在用户输入上训练生成对抗性网络来创建转换组合。这些简单的转换不足以捕捉 MRI 数据中的许多细微变化。
本文提议在半监督学习框架中，通过综合真实的训练样本来改进一次性生物医学图像分割。
3.1 空间和外观变换模型
图 3：本文使用基于 U-Net 体系结构的卷积神经网络[63]来学习每个变换模型。 转换的应用是空间模型的空间翘曲，和 外观模型的体素加法。 每个卷积使用 3×3 个核，然后是一个 Leaky ReLU 激活层。 编码器使用最大池层来减少空间冲突。
3.2 学习方法
3.3 结合新的样本
3.4 分割网络
新合成的实例对于提高监督分割网络的性能是有用的。本文使用基于[66]中描述的最先进体系结构的网络来演示这一点。为了解释 GPU 内存限制，网络被设计成一次分割一个切片。本文从扩增训练集中随机切片上训练网络。本文使用在验证集上的早期停止来选择训练历元的数量。本文强调精确分割网络体系结构不是这项工作的重点，因为本文的方法可以与任何监督分割网络一起使用。
3.5 执行情况
本文实现了所有使用 Keras[12]和 Tensorflow[1]模型。 空间变换对图像的应用是使用可微的 3D 空间转换层[8]实现的；使用最近邻插值的类似层用于变换分割映射。 简单起见，本文使用两个相同的神经网络捕获 3.1 节中描述的正、逆空间变换。 对于外观变换模型，本文使用超参数
。 本文用单对卷积训练本文的变换模型，并训练大小为 16 片的分割模型。 所有模型的训练学习率为 5e-4。
4.实验
本文可以证明本文的自动扩增方法可以用来改善脑 MRI 的分割。 本文的重点是一次分割未归一化扫描——一个具有挑战性但实用的场景。 强度归一化方法，如偏置场校正[27,71,74]，在实际情况下可能效果不佳（例如，临床质量扫描，或中风扫描[73]或创伤性脑损伤扫描）。
本文使用[8]中公开的数据集 T1 加权 MRI 脑扫描描述。 扫描图是从八个数据库汇编的：ADNI[54]、OASIS[46]、ABIDE[48]、ADHD200[49]、MCIC[30]、PPMI[47]、HABS[19]和 Harvard GSP[33]；分割标签是使用 FreeSurfer[27]计算的。 与[8]一样，本文用 1mm 各向同性体素将大脑重采样到 256×256×256，并对齐裁剪图像到 160×192×224。 本文不使用任何强度校正，本文通过无解剖标签的方法进行颅骨剥离。 为了评估，本文使用[8]中描述的 30 个解剖标签的分割图。
本文专注于使用单个标记样本进行分割的任务。 本文随机选择 101 个可应用于训练的大脑扫描图。 在实践中，图谱通常被选择为接近种群的解剖平均值。 本文选择最相似的训练例子，以[8]中的解剖进行平均计算。 这个图谱是用来训练本文的变换模型的单一标记的例子；其他 100 个训练大脑的分割标签没有使用。 本文使用额外的 50 次扫描作为验证集，另外 100 次扫描作为暂停测试集。
4.2 分割基线
使用单 atlas 分割的数据扩增(SAS-aug)：本文使用 SAS 结果作为未注释的训练大脑的标签，然后本文将其作为监督分割的训练样本。 这为分段训练集增加了 100 个新的训练样本。
手调随机数据扩增(Rand-Aug)：与[51,63,64]类似，本文通过在稀疏网格上采样随机向量来创建随机光滑变形场，然后应用双线性插值和空间模糊。 本文评估了变形场的振幅和光滑性的几个设置，包括[63]中描述的设置，并选择了在验证集上产生最佳分割性能的设置。 类似于[35,40]，本文使用从范围[0.5，1.5]均匀采样的全局强度乘性因子合成成像强度的变化。 本文选择的范围，以匹配强度变化在数据集；这是代表在实践中如何调整扩增参数。 这种扩增方法在每次训练迭代中合成一个新的随机转换的大脑。
监督：本文训练了一个完全监督的分割网络，在本文的训练数据集中，所有 101 个例子都使用地面真相标签。 除了 atlas 标签，这些标签不适用于任何其他方法。 此方法作为上界。
表 1：在 Dice 评分[23]方面的分割性能，在 100 次扫描的持久测试集上进行评估。 本文报告了所有 30 个解剖标签和 100 名测试对象的平均 Dice 评分(和括号中的标准差。 本文还报告了每种方法在 SAS 基线上的平均成对改进。
方法骰子得分配对骰子改进SAS0.759 (0.137)-SAS-aug0.775 (0.147)0.016(0.041)兰德-奥格0.765 (0.143)0.006 (0.088)本文的-耦合0.795 (0.133)0.036 (0.036)本文的帐0.804 (0.130)0.045 (0.038)本文+兰德-奥格0.815 (0.123)0.056 (0.044)监督（上限）0.849 (0.092)0.089 (0.072)
4.3 方法的实体
耦合采样：为了突出本文的独立变换模型的有效性，本文将本文的方法与本文的方法的一个变体进行比较，其中本文从相同的目标图像中对每个空间和外观变换进行采样。 这导致了 100 个可能的合成例子。 与本文的方法一样，本文在每个训练迭代中合成了一个随机样本。
在训练分段器时，本文使用 ours-indep 合成的例子和使用 rand-aug 合成的例子进行交替。 在本文的合成扩增中加入手工调谐扩增可以引入额外的方差(即使在未标记的集合中也是看不见的)从而提高分割器的鲁棒性。
4.4 评价指标
本文用 Dice 评分[23]来评估每种分割方法的准确性，它量化了两个解剖区域之间的重叠程度。 骰子得分为 1 表示完全重叠的区域，而 0 表示没有重叠。 预测的分割标签是相对于使用 FreeSurfer[27]生成的解剖标签进行评估的。
4.5 结果
图 4：与 SAS 基线相比，平均基线相比，平均 Dice 评分（在所有 30 个解剖标签上计算的平均值）的配对改善。
图 5：与 SAS 基线相比，平均 Dice 评分（在所有 30 个解剖标签上计算的平均值）的配对改善，显示为每个测试对象。 受试者按 Dicei 排序 本文在 SAS 上的进步。
图 6：每种方法在不同脑结构中的分割精度。 标签按图册中各结构所占体积进行排序（括号中显示），标签由 o 组成 左、右结构（如海马）结合在一起。 本文缩写标签：白质(WM)、皮层(CX)、心室（通风口）和脑脊液(CSF)。
图 7：两个测试对象（行)的海马分割预测）。 本文的方法（第 2 栏)比基线(第 3 和第 4 栏)产生更精确的分段）。
图 8：由于本文独立地对空间和外观转换进行建模，本文能够合成各种组合效果。 本文展示了一些使用所学转换合成的示例 从训练集；这些转换构成了本文的扩增模型的基础。 上面一行显示了一个合成图像，其中外观变换产生了变暗的效果，以及水疗中心 蒂尔转化缩小了心室，扩大了整个大脑。 第二排，图谱变亮，脑室扩大。
图 9：由 SAS-Aug（第 2 栏)和本文的耦合(第 3 栏)生成的综合训练示例）。 当空间模型（两种方法都使用）产生不完全扭曲的标签时，SAS-Aug 对战争进行配对 带有不正确图像纹理的 PED 标签。 本文的方法仍然通过将合成的图像纹理与标签匹配来生成一个有用的训练示例。
4.5.1 分割性能
表 1 显示了每种方法的分割精度。 本文的方法优于所有基线。
在图 4 图 5 中，本文比较了每种方法与单岩分割基线。
图 4 表明，本文的方法得到了最大的改进，并且比手工调整的随机扩增更一致。
图 5 表明 ours-indep+rand-aug 在每个测试主题上始终优于每个基线。 ours-indep 总是比 SAS-aug 和 SAS 更好，并且在 100 次测试扫描中的 95 次中优于 rand-aug。
图 6 表明 rand-aug 在大的解剖结构上改善了 Dice 而不是 SAS，但对较小的结构是有害的。 相反，本文的方法在所有结构中对 SAS 和 SAS-aug 进行了一致的改进。 本文在图 7 中展示了几个的例子。
4.5.2 合成的图像
本文独立的空间和外观模型能够合成各种各样的大脑外观图像。 图 8 展示的一些例子中表示组合转换会产生真实的结果和准确的标签。
为什么本文优于单 atlas 分割？ 本文的方法依赖于相同的空间配准模型，用于 SAS 和 SAS-aug。 Ours-coupled 和 SAS-aug 都增加了 100 个新图像的分割器训练集。
为了理解为什么本文的方法产生更好的分割，本文检查了扩增图像。 本文的方法以与标签相同的方式扭曲图像，确保扭曲的标签与转换后的图像相匹配。 另一方面，SAS-aug 将扭曲的标签应用于原始图像，因此注册中的任何错误或噪声都会导致分割器标记错误的新训练样本。 图 9 突出了本文的方法在海马标签中合成图像纹理的例子，这些图像纹理与地面真实的纹理更一致，从而形成了一个更有用的合成训练样本。
扩展 本文的框架适合于几个可能的未来扩展。 在第 3.1 节中，本文讨论了在图集参考框架中使用近似反变形函数来学习外观变换。 而不是学习一个单独的逆空间变换模型，在未来，本文会将现有的工作应用于不同的配准[3,5,10,20,81]。
本文从一组离散的空间和外观变换中采样变换。 这可以扩展到更丰富地跨越转换空间，例如通过转换之间的插值或使用转换组合。
本文在脑 MRI 上展示了本文的方法。 由于该方法不使用脑或 MRI 特异性信息，因此将其扩展到其他解剖或成像方式，如 CT。
本文 提出了一种基于学习的数据扩增方法，并在一次医学图像分割中进行了演示。
本文从一个标记图像和一组未标记的样本开始。 使用基于学习的配准方法，本文对标记和未标记样本之间的空间和外观转换集进行建模。 这些变换捕捉诸如非线性变形和成像强度变化等效应。 本文通过采样变换和应用它们来合成新的标记样本对于标记的例子，产生各种各样的真实的新图像。
本文使用这些综合性的例子来训练一个有监督的分割模型。 分割器在本文的测试集中的每个样本上执行现有的一次分割方法，接近完全监督模型的性能。 该框架允许在多应用程序中进行分割，例如在临床设置中，时间限制允许手动注释少量次数的扫描。
综上，本工作说明了：
从未标记的图像中学习空间和外观转换的独立模型可以合成不同和真实的标记样本。
这些综合的例子可以用来训练一个分割模型，它在一次场景中优于现有的方法。
本论文由 iSE 实验室 2020 级硕士生侯忠昊转述。
联系客服
