研究背景 尽管全息相干成像显微镜存在着如无标记，无扫描3D成像等诸多优点，相对于其它的显微成像模式（如明场显微镜和荧光显微镜），全息显微成像仍旧存在一些问题，如复杂的相位重建迭代过程，噪音噪点，导致了它的使用范围并没有那么广泛。 近年来，深度学习领域的发展的取得了很大的进步，这对于全息成像模式来说是全新的机会。深度学习方法应用于全息成像模式上（如图1所示），不仅能规避很多相干成像系统存在的问题，同时还能充分利用其本身成像模式的优势。来自加州大学洛杉矶分校的Ozcan团队相信深度学习与全息技术的交叉研究将是全息成像和传感系统在生命科学、生物医学和工程领域的更广泛的传播和采用的关键。
图1-深度学习方法在相干成像上的应用
在本文中，作者主要回顾了几种深度学习在全息相干成像系统中已有的应用。
相位恢复和全息重建
相位恢复是全息成像过程中的一个关键过程，常规的恢复策略中已有多种光学和数值方法被提出用于求解相位信息。例如，获取样本在不同轴距、照明角度、波长和偏振状态下的测量值作为在使用重建算法时的物理约束来获得最终解。然而，由于要对同一个物体进行多次测量，这种方法只适用于准静态的物体，对于高速移动的物体并不适用，并且算法耗时巨大并需要对大量自定义参数进行调试以得到比较好的图像。
结合深度学习的相位恢复方法被证明能够在从单一全息图中完成相位恢复工作，且比常规相位恢复策略和算法更高效、鲁棒性更强。在预处理环节，为达到更好的效果，在输入网络进行重建之前，首先会使用解析的方法对全息图进行一个聚焦的处理然后将对焦图像输入到神经网络中生成相位重建图像，如图2b，d所示。
图2-基于深度学习方法的全息重建
深度神经网络相较于常规解析重建算法的优势在于它可有效减少噪音噪点，且相比于state-of-art的迭代全息重建策略算法能缩短4~30倍的时间，如图2b，c所示。目前，这种技术已经被用于无标记快速流体检测。
景深加强与自动聚焦
Wu, Y. C等人在其工作中证明了深度神经网络能够从单一的全息测量数据中同时的执行自动聚焦和相位恢复，生成处于不同轴向深度的样品图像，如图2c所示。这种神经网络使用随机成对的离焦全息图和对应的聚焦、已相位恢复的全息图训练而成。通过并行的执行不同深度的聚焦和相位恢复，能够大幅的减少对3维分布的样品点进行重建的时间，这对宽视场的全息成像应用非常有用，并且这种扩展的景深图像是无法通过常规的基于波传播的迭代全息恢复策略得到的。
例如，这种基于深度学习的重建方法被用于在大于20平方毫米的宽成像视场上实现高通量病毒检测。还被用于重建生物气溶胶图进行花粉和霉菌孢子的识别及分类。
分辨率及信噪比提升
深度学习应用到分辨率提升中，以成像系统有无透镜分为：
（1）在无透镜全息系统中，用于训练网络的高分辨率标签图像是通过使用同一样本的多张进行了亚像素偏移的图像合成，低分辨率图像则是使用了少量进行了亚像素偏移的图像合成。训练好的网络能将低分辨率图转化成对应的高分辨率图，从而减少全息图的测量次数，缩短图像重建时间，如图2e所示；
（2）在基于透镜的受衍射极限限制的全息系统中，用于训练网络的高分辨率标签图像通过使用放大倍率和数值孔径更大的目镜来获取（此时获得的视野相对变小）。训练好的网络在将低分辨率图像转化成对应的高分辨率图像时，提升了成像系统的总体空间带宽积，同时拥有更高的分辨率和更广的视野。
在提升信噪比（SNR）方面，神经网络用高信噪比图像及其对应的由计算模拟得出的低信噪比图像来训练，然后利用训练好的网络对实验获得的图像数据进行散斑噪声抑制处理，如图2d所示。
明场全息成像
常规策略重建的全息图往往由于其图像对比度和轴向切片能力的不足而陷入性能瓶颈，其不仅是受到孪生像、自干涉及噪斑的影响，且也有受到由于时空间相干性过大而导致的样本离焦特征的影响。
图3-基于深度学习方法的明场全息术
为了解决其中的图像对比度问题，研究者提出使用神经网络将全息图转变成常规明场显微图。训练集由从同一张全息图计算得到的不同深度的复值图与相应深度的明场显微镜图像对组成。训练完成后，可以实现仅用一张全息图，不需要任何机械的全局轴向扫描操作，来得到样品不同深度的明场图像。这种技术集合了全息显微镜和明场显微镜的优点，如图3所示。
数据驱动的明场全息和跨模态变化方法能进一步的促成下一代高通量的全息体成像系统的出现，通过简单的硬件设备就能拥有更快的成像速度，更高的对比度以及3维切片能力。
用跨模态变化给样本的全息图染色
小提示：这部分内容可参见本公众号的历史文章nature | 基于深度学习方法的虚拟组织染色。
未经染色的生物标本，如细胞及其他一些细薄组织切片，在标准的明场显微镜下只能呈现出很低的对比度，以至于得不到有实际能用于病理诊断的图像。为了能产生高对比度的图像，一直以来，生物化学染色技术都被认为是病理学上得到病理诊断图像的标准方法。然而该技术却有需要在染色过程中使用大量化学试剂，耗时严重，对操作人员要求高等弊端。
基于深度学习的虚拟组织染色方法通过跨模态变化将使用全息显微镜下得到的病理学切片的定量相位图转换成与经过生物化学染色后呈现在明场显微镜下的图相当的虚拟染色图像，如图4所示。
图4-基于深度学习方法的虚拟组织染色
散射介质成像与衍射层析成像
深度学习在相干成像系统上的应用不局限于基于单次散射的全息投影技术，使用精确标记数据集，深度学习同样可以应用于多次散射与经由散射介质后的成像过程。
图5-通过光散射器成像
例如，神经网络从相干光通过光散射器后的光信号中提取目标图像，如图5所示；Borhani等人在其工作中提出神经网络可以从传输距离达1km的多模光纤后端获得的散斑图中重建并识别出手写数字，如图6所示。
图6-通过多模光纤成像
深度学习也被应用到光学衍射层析成像中，Kamilov等人在其研究工作中证明了一个训练好的全卷积神经网络能够由多张衍射层析图得到物体的3D折射率分布，如图7所示。Goy, A 等实现了仅通过少量的角度扫描衍射层析图完成3D折射率重建。
图7-衍射层析重建
Choi, G等成功的利用对抗生成网络GAN来生成减少了动态散斑噪声的三维重建图，如图8所示。在这种GAN网络中，训练过程中使用的数据集可以是未配对的数据。
图8-散斑噪声抑制
总结
当前世界正在经历全息术和相干成像领域的真正复兴，这得益于来自神经网络和数据驱动学习方法的强大统计工具的新浪潮。显微领域的进步使得深度学习框架能获取到更多精确的用于训练深度神经网络的图像数据，这种基于深度学习的全息和相干成像模式能高效的得到高分辨率和高通量的图像，给硬件资源有限的便携式显微设备带来更多可能。。
Ozcan团队相信，这只是这一领域将经历的一系列变革性进步的开始，这不仅将从根本上改变成像仪器及其工作方式，而且还将开辟大量的新应用，这是当今成像系统所无法实现的。
参考资料
Rivenson Y., et al. Deep learning in holography and coherent imaging. Light.: Sci. Appl. (2019) 8:85.
审稿人注
Holography偏向于是一种成像方式，Coherent 主要指使用激光成像。
Phase Retrieval: 光是一个复数量，, 其中A是Amplitude（幅度），一般常规显微镜看到的图都是幅度图。指相位，是一个跟物体折射率与物体高度相关的量，所以能够反映物体的内部结构。一般相机只能接收到幅度值，Phase Retrieval的过程就是从相机接收到的幅度值里面提取值的过程。
DrugAI
（ 扫描下方二维码订阅获取最新消息！）
联系客服
