[发明专利]用于生成风格化对比度图像的显微镜系统和方法

说明书

在一种用于生成图像处理模型(M)的计算机实现的方法中，该图像处理模型(M)生成输出数据(40)，该输出数据(40)从显微镜图像(20)定义风格化对比度图像(30)，通过使用训练数据(T)优化至少一个目标函数(L)调整图像处理模型(M)的模型参数。训练数据(T)包括作为输入数据的显微镜图像(20)和对比度图像(50)，其中显微镜图像(20)和对比度图像(50)由不同的显微镜技术产生。为了使输出数据(40)定义风格化对比度图像(30)，目标函数(L)强制进行细节减少，或者对比度图像(50)是细节减少的对比度图像(55)，其细节级别低于显微镜图像(20)，高于二值图像。

技术领域

本公开涉及显微镜系统和用于生成图像处理模型的计算机实现方法，该图像处理模型生成定义来自显微镜图像的风格化对比度图像的输出数据。本公开还涉及一种用于通过图像处理模型从显微镜图像生成风格化对比度图像的计算机方法。

背景技术

捕获图像的自动处理在现代显微镜系统中发挥着越来越重要的作用。一个典型的例子是虚拟染色，通过它某些样本结构被定位和突出显示，即以增强其可区分性的方式描绘。这通常通过使用训练数据的机器学习模型来实现，如参考图1更详细描述的。图1示出了使用某种对比方法(例如，以相衬图像的形式)捕获的多个显微镜图像20。在所示的情况下，作为一般对比度图像60的示例的关联荧光图像已经用显微镜捕获。对比度图像60在本公开中被理解为使用与显微镜图像20不同的对比方法捕获的图像。样本结构21，例如，在显微镜图像20中难以区分的生物细胞，而在对比度图像60中，样本结构21从剩余的图像背景中更清晰地突出。例如，在荧光图像中，可以捕获DAPI染料的荧光，该染料与DNA结合，因此可以使细胞核特别容易区分。显微镜图像20和对应的对比度图像60被用作模型M'的训练数据T'。显微镜图像20用作输入数据。模型M'的输出图像应该是计算出的对比度图像70，其应该理想地对应于相关联的对比度图像60。为此迭代地调整模型M'的模型参数。在完成训练后，模型M'能够从输入的显微镜图像20A生成计算的对比度图像70A，对于该输入的显微镜图像20A，捕获的对比度图像不可用。这可以帮助保存样本，因为这种虚拟染色图像的生成不会对样本产生与荧光分析或其他染色技术必然涉及的相同的影响。还可以消除任何用于捕获对比度图像所需的设备的支出，例如，荧光图像，或省略可能与对比程序相关的样本制备。计算出的对比度图像70A尤其可以用于样本导航：基于计算出的对比度图像70A，用户或随后的自动图像分析可以选择样本区域以进行进一步分析。与显微镜图像20A相比，计算出的对比度图像70A具有突出样本结构21而其他结构大部分被隐藏的优点。然而，有问题的是，虚拟染色可以添加幻觉样本细节22，例如在样本结构21内的细胞器或其他细胞成分。在这种情况下，实际上不存在于样本中的样本成分被模型M'添加到计算的对比度图像70A中。在计算出的对比度图像70A中精确表示的样本结构21的形状也并不总是对应于实际形状。这可能会妨碍后续过程，例如导航。原则上，如果训练数据T'的范围增加，所述的问题可以减弱。然而，如果处理更显著偏离训练数据T'的统计分布的新显微镜图像，即使训练数据T'的范围增加，也不能防止错误至令人满意的程度。

虚拟染色样本的方法被描述，例如，在EP3553165A1、US9,786,050B2和US10,013,760B2以及在：

克里斯蒂安森，埃里克，等人，“计算机标记：预测未标记图像中的荧光标记，”2018，单元173，792-803，2018年4月19日，Elsevier，doi:https://doi.org/10.1016/j.cell.2018.03.040

乌格摩尔、查温等人，“通过透射光显微镜对三维荧光图像进行无标签预测”，bioRxiv预印本，2018年5月23日，https://doi.org/10.1101/289504