通过对图像的计算处理， examined samples 在不同类型的光学显微镜下的复杂细节被揭示。尽管在这一领域取得了显著进展，但在图像对比度和分辨率等方面仍存在提升的机会。一种基于独特深度学习框架的新开发的计算模型在速度上超越传统模型，同时实现相同或更高的图像质量。
通过先进的计算图像处理，不同类型的光学显微镜下观察的样本的复杂细节被揭示。尽管在这一领域已有进展，但在对比度和分辨率等方面仍有改进的潜力。来自哈姆霍兹德累斯顿-罗斯托克研究中心（HZDR）和马克斯·德尔布吕克分子医学中心的研究人员创建的新计算模型比传统模型的性能更快，同时实现了相当或更好的图像质量。该模型被称为多阶段残差-BCR 网络（m-rBCR），专门为显微镜图像设计。该模型首次在计算机视觉欧洲会议（ECCV）上介绍，这是计算机视觉和机器学习领域的主要活动，相关的同行评审论文已公开。
这一创新模型为称为反卷积的图像处理技术提供了新的视角。此方法虽然计算上要求较高，但可以提升由不同类型的光学显微镜（包括广场视场、共聚焦和透射显微镜）采集的数字图像的对比度和分辨率。反卷积主要旨在最小化模糊，这是一种由所使用显微镜引起的特定图像劣化类型。该方法有两种主要策略：显式反卷积和基于深度学习的反卷积。
显式反卷积方法围绕点扩散函数（PSF）展开，它描述了样本中微小光源如何被光学系统扩展为三维衍射图案。因此，记录的二维图像包含来自失焦元素的光，这导致了模糊。通过理解给定显微镜系统的PSF，可以在数学上纠正模糊，从而生成比原始捕获版本清晰得多的图像。
“基于PSF的反卷积技术的一个主要问题是，许多显微镜系统的PSF往往不可用或不准确，”CASUS青年研究员组主任兼ECCV论文的首席作者阿图尔·雅基莫维奇博士指出。“多年来，研究人员一直专注于盲反卷积，该方法从图像或图像集估算PSF。然而，盲反卷积仍然是一个复杂的挑战，进展有限。”
雅基莫维奇团队之前展示的采用“逆问题求解”方法已被证明在显微镜学中有效。逆问题涉及识别观察到的现象的根本原因。成功解决此类问题通常需要大量的数据和深度学习算法。与显式反卷积方法类似，该方法允许生成高分辨率或更高质量的图像。对于ECCV讨论的方法，研究人员利用了一种名为多阶段残差-BCR网络（m-rBCR）的物理信息神经网络。
深度学习的不同使用
一般来说，图像处理可以通过两种主要方式进行：通过常规空间表示或通过其频率表示（这需要从空间形式进行转换）。在后一种方法中，每个图像被视为一系列波。这两种格式都有其优点；某些处理任务在其中一种方面更为简单。大多数深度学习架构适用于空间域，因为它们针对常规照片优化。然而，显微镜图像主要由单色数据组成，呈现出特殊的情况。例如，荧光显微镜涉及特定光源与暗背景的组合。因此，m-rBCR采用频率表示作为其基础方法。
“在这种情况下使用频率域有助于生成光学上有意义的数据表示——这一概念使得m-rBCR能够有效地应对反卷积挑战，并且使用的参数远少于其他当前的深度学习架构，”首席作者和ECCV报告者鲁伊·李解释道。李致力于增强名为BCR-Net的模型的神经网络结构，该模型受到20世纪90年代格雷戈里·贝尔金、罗纳德·科伊夫曼和弗拉基米尔·罗赫林提出的基于频率表示的信号压缩方法的启发（这也正是“BCR”名称的来源）。
该团队已经使用包含两种模拟和两种实际显微镜图像数据集的四个不同数据集测试了m-rBCR模型。结果显示，与当代深度学习模型相比，该模型以显著更少的训练参数和更快的运行时间表现出色，同时也优于显式反卷积技术。
专为显微镜设计的模型
“这一新架构利用了一种未被重视的表示学习方法，超越了标准卷积神经网络技术，”合著者、柏林马克斯-德尔布吕克分子医学中心“原位结构生物学”小组负责人米沙·库德里亚谢夫教授总结道。“我们的模型显著减少了可能冗余的参数，而不牺牲性能。该模型专门为显微镜图像量身定制，凭借其简化设计，对持续增加计算资源需求的更大模型趋势提出了挑战。”
最近，雅基莫维奇团队介绍了一种利用生成式人工智能的图像质量增强模型。该条件变分扩散模型达到了一流的结果，超过了此处讨论的m-rBCR模型的结果。“然而，这种方法需要大量的训练数据和计算能力，包括足够的图形处理单元，这些当前正受到高度需求，”雅基莫维奇指出。“相比之下，轻量级的m-rBCR模型没有这种限制，仍然能产生优秀的结果。因此，我对它在成像界的潜在影响感到乐观。为了支持这一点，我们已经开始提高其用户友好性。”
雅基莫维奇小组专注于“感染和疾病的机器学习”，旨在理解病原感染后激活的分子相互作用复杂网络。在这一努力中，利用机器学习的创新能力至关重要。他们的兴趣包括提高图像分辨率、重建三维图像、自动化疾病诊断以及评估图像重建质量。
