机器学习消除噪声，让显微镜图像更加清晰

编辑/文龙

比利时法兰德斯生物技术研究所（VIB）的Saskia Lippens对她送入程序后得到的图像感到满意，该程序用于识别细胞和细胞器之间的边界。但当研究生Joris Roels提出使用一种算法从输入显微照片中滤除噪声时，她犹豫了一下，尽管这可能会改善她边缘界定的结果。

“在人们谈论图像恢复时，电子显微镜专家总是会有些谨慎，”根特研究所显微镜核心设施的负责人Lippens说，“如果我们要更改数据怎么办？如果我们犯错了怎么办？”

Roels却认为生物学家会站在计算机的肩膀上，对图像不断校验并选择正确的降噪方法。她说服了Lippens，当Lippens尝试使用降噪后的图片再次寻找边界时，这种改进给她留下了深刻的印象：“这确实是一个更好的起点。”

简单来说，噪声是图像中非真实信号的总和。照明度越弱，图像噪声越大，这可以解释为什么夜间用手机拍照会有颗粒感，更不用说用于保护脆弱的样品的微光显微照片。

但是没有图像是完全没有噪点的。“它总是在那儿，”海法以色列理工学院的计算机科学家Michael Elad说。为了将图像噪声最小化，研究人员长期以来一直采用降噪算法，最早是一种由计算机科学家开发的数学过程，“然后进入了深度学习时代”， 通过将图像传递给计算机并允许它们制定出最佳的降噪方案，研究人员看到了令人惊叹的结果。

“这真是太神奇了，”Loïc Royer说，他在加利福尼亚州旧金山的扎克伯格生物中心从事图像处理和光片显微镜工作。但是这种魔法确实存在风险：生物学家必须注意不要丢失或混淆有价值的信号。

从人到机器

传统人工编写的算法在很多时候仍然运行良好，并且许多算法已经内置在像ImageJ，Fiji和MATLAB这样流行的图像处理环境中。Elad偏爱一种称为块匹配和3D过滤的方法，该方法将内容和噪声相似的图像部分分为一个组，并在重新组合图像之前过滤掉每组的噪声。瑞典乌普萨拉大学国家SciLifeLab生物图像信息学设施负责人Carolina Wählby使用一种称为Top-Hat的算法来清除荧光显微照片和其他图像中的背景噪声。Top-Hat执行一种数学转换，以从图像中去除过亮或过暗的元素。她说：“在许多情况下，类似的方法的确非常有效。”

机器学习则向前更迈进了一步，计算机首先学习如何对一组图像进行降噪，然后将其学到的知识应用于新的数据。“这跳过了中间人——数学家，”Royer 说。

但是，有一个陷阱：计算机的推理并不总是很明显的。“机器学习算法正在构建一个非常复杂的可以提取出图像本质的黑匣子，但它确实有效。”

除此之外，还有额外的计算成本，尤其是在训练阶段。实时训练可能需要将计算机接入多个图形处理单元或云服务器。但是，MATLAB开发人员、MathWorks负责计算机视觉产品营销的Avinash Nehemiah表示，一旦机器完成了这一阶段，研究人员就可以使用普通的笔记本电脑对图像进行降噪。

在基于“监督”的机器学习方法中，机器会知道它在寻找什么，因为用户会使用匹配成对的噪点图像和清晰图像对其进行训练。“在正确数据的监督下，你始终可以得到最佳结果，”德国德累斯顿马克斯·普朗克分子细胞生物学与遗传学研究所（MPI-CBG）的计算机科学家Florian Jug说。

用户提供更多输入对时，受监督模型会变得更好。但是研究人员并不总是可以使用经过预先清洗的图像，在这种情况下，他们可以尝试能够自己训练自己的算法。天津南开大学的计算机科学家Jun Xu表示：“该领域的一个新的方向是开发自我监督算法。”

未来的潮流

在过去几年中，出现了自我监督算法类别的第一批成员，Noise2Void和Noise2Self。Noise2Self的共同研发者Royer解释到，开发人员认为每个像素的值都会由于随机噪声的存在而有所偏离，但是它附近的像素会为其确切值提供强有力的暗示。对于每个像素，机器会使用周围的像素预测一个适当的值，然后将这些参数应用于新图片。

“噪声无法在此过程中幸存下来，因为噪声是仅在该像素上的信息。”

影像专家也在不断改进这项技术。如果噪声不是随机分布在整个图像中，那么Noise2Self和Noise2Void会失败。MPI-CBG的研究生Coleman Broaddus调整了Noise2Void以规避此问题，该版本被称为StructN2V。用户可以选择与其图像噪点大小相匹配的多像素区域，然后StructN2V算法尝试通过基于周围像素预测该补丁的中心值来进行降噪。

谨慎对待成像器

无论是经典模型还是基于机器学习的模型，其输出结果看起来都有十分显著的改善。但这并不能使它成为现实，Nehemiah说：“这是一个折衷方案”：图像更清晰，但也进行了修改。

噪声越强，修改发生的可能性就越大。Elad说：“当噪声变得非常强烈甚至几乎看不到图像时，那么得到的结果就是一种幻觉。”

例如，为了消除快速扫描的图像中的模糊，Wählby和一名学生用空电子显微镜栅格形成的条纹图案对机器进行了训练。当他们在新图片上运行训练好的模型时，出现了额外的条纹。Wählby说：“它学会了找到条纹，而不是了解动态模糊。”

解决方法是引入额外的训练数据：一组清晰且有噪声的无条纹图像。加上这组数据，机器就能正确地学习消除模糊的能力。

但有些图像噪点太多以至于无法挽救。得克萨斯州休斯顿大学处理红外成像数据的Rupali Mankar说，她通过拍摄同一样本的多张照片来检查这一点。如果图像之间的输出变化很大，那么“这不是一个好的信号，而是噪声”。

数字化错觉之类的现象在Jug看来是相对少见的。他说，降噪出现问题时通常会很明显，因为图像看起来模糊或怪异。“令人惊讶的是，这些问题很少出现。” 话虽如此，Jug仍建议图像分析人员在纸质投稿中包含原始的、有噪点的数据，或者将数据发布在可公开获取的服务器上。这样，读者和审阅者可以自己比较前后的数据。威斯康星大学麦迪逊分校的生物医学工程师Kevin Eliceiri指出，许多期刊都有检查图像是否存在处理错误的团队。

斯德哥尔摩KTH皇家技术学院SciLifeLab的计算机科学家Wei Ouyang建议，研究人员还应使用第二种方法来验证结果。例如，有人可能会使用另一种成像技术（可能是更宽的视野）来确认去噪后的数据的合理性。

选择正确的方法

正是生物学家的“人为监督（human-in-the-loop）”评估，让Lippens有信心消除电子显微镜图像的噪声。Lippens、Roels和她们的合作者发明了一个名为DenoisEM的ImageJ插件，配备了八种经典的去噪方法。通过使用图形处理单元来提高速度的同时，显微镜工作者可以尝试不同的选择，调节参数，直到他们得到满意的结果。Lippens说：“实际上是生物学专家决定你将使用什么和不使用什么。”

为了获得使用建议，研究人员可以尝试他们当地的显微镜设备或在线社区，如http://forum.image.sc。Mankar建议，对成像技术不熟悉的科学家也可以考虑在线课程，比如在线教育公司Coursera提供的课程。

越来越多的工具让研究人员能够找到并比较多种去噪方法，并贡献出新的方法。例如，由Jug及合伙人一起开发的CSBDeep是一个在线的机械学习工具箱，可以与Fiji图像处理环境或Python编程语言一起使用。同样，Ouyang的网络应用软件ImJoy为多种机器学习方法的测试提供了一站式服务。

欧阳、Jug等人也在开发Bioimage Model Zoo。显微镜学家将使用经过预训练的机器学习模型填充该存储库，以进行降噪和其他目的（例如分割），这可使用户跳过耗费大量算力的训练步骤。但是，Jug说，借用其他研究人员的模型是危险的，并且你的数据集和他们的数据集必须有密切的关联，这一点很重要。例如，一个被训练用来辨析微管的模型，在应用于核膜的照片时可能会失败，甚至是应用于来自不同显微镜设置的微管的照片也会失败。但香港理工大学低层次计算机视觉研究员Lei Zhang表示，如果信号和图像噪音相似，那么预先训练过的模型就可以工作。

Elad说，无论如何，今天的模型和算法并不是图像去噪的最终定论。“这是一届永不停止的奥运会：每个人都试图打败其他人。”

对于像Lippens这样的研究人员来说，（显微摄影技术的）未来看起来从未像现在这样清晰。

https://www.nature.com/articles/d41586-021-00023-0

Amber Dance