[发明专利]生成未染色样本的虚拟染色图像

说明书

提供了用于生成未染色样本的虚拟染色图像的系统和方法。根据本发明的一个方面，一种方法包括访问包括多个图像对的图像训练数据集。每一个图像对包括未染色的第一组织样本的第一图像，以及当第一组织样本被染色时获取的第二图像。该方法还包括访问人工神经网络的参数集，其中，该参数集包括与人工神经网络内的人工神经元相关联的权重；通过使用图像训练数据集和参数集来训练人工神经网络以调整权重；访问未染色的第二组织样本的第三图像；使用训练后的人工神经网络从第三图像生成第二组织样本的虚拟染色图像；以及输出虚拟染色图像。

相关申请的交叉引用

根据35U.S.C.§119，本申请要求于2017年12月15日提交的美国临时专利申请第62/599,271号的优先权，出于所有目的，该申请的内容通过引用整体并入本文。

背景技术

组织学中可以使用各种染色剂以在显微镜下研究细胞和组织。因为生物组织在显微镜下几乎没有对比度，所以通常使用染色剂来提供对比度并突出感兴趣的特定特征。染色剂允许病理学家对亚细胞成分进行成像，并且区分不同的细胞类型和组织元素。例如，至少一个世纪以来，苏木素和伊红(hematoxylin and eosin，HE)一直是用于诊断各种疾病的黄金标准。苏木素是结合到嗜碱性物质的深蓝色或紫色染色剂，而伊红是结合到嗜酸性物质的红色或粉红色染色剂。HE将细胞核染成紫色并且将细胞质染成粉红色。

为了制备用于分析的生物样本，样本一般被固定、脱水、包埋在石蜡中、切片、染色并安装在显微镜载玻片上。然而，这种样本制备可能花费一天才能完成。石蜡包埋样本的染色一般需要30分钟，并且冷冻样本的染色一般需要15分钟。这阻碍了手术室的实时评估和即时反馈，在手术室里时间是至关重要的。此外，染色不能为组织的进一步系统分析提供详细的分子信息，并且染色过程可能会损害生物分子，诸如蛋白质和核糖核酸(RNA)。

一种方法使用受激拉曼散射显微术(stimulated Raman scatteringmicroscopy)的双通道成像来生成HE染色的虚拟图像。然而，这种方法需要复杂的激光系统，其包括脉冲光纤激光器，并且是基于低速操作的点扫描系统。其他方法使用各种显微镜技术，诸如单通道落射荧光多光子显微镜(single-channel epi-fluorescencemultiphoton microscopy)或单通道荧光共焦显微镜(single-channel fluorescenceconfocal microscopy)，以生成HE染色的虚拟图像。然而，这些方法要求样本用不同的染料，诸如4',6-二脒基-2-苯基吲哚(4',6-diamidino-2-phenylindole，DAPI)或吖啶橙染色。

发明内容

本发明的示例性实施例提供了用于生成未染色样本的虚拟染色图像的系统和方法。根据本发明的一个方面，一种计算机实施的方法包括访问包括多个图像对的图像训练数据集。多个图像对中的每一个图像对包括当第一组织样本未染色时获取的第一组织样本的第一图像，以及当第一组织样本被染色时获取的第一组织样本的第二图像。第一图像包括第一组织样本的第一多个光谱图像。第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据。第二图像包括多种颜色，对于第二图像内的多个位置中的每一个位置，多种颜色指示至少一种染色剂结合到第一组织样本的程度。

该方法还包括访问人工神经网络的参数集。该参数集包括与人工神经网络内的人工神经元相关联的权重。通过使用图像训练数据集和参数集来训练人工神经网络，以调整权重。访问未染色的第二组织样本的第三图像。第三图像包括第二组织样本的第三多个光谱图像，并且第三多个光谱图像中的每一个光谱图像包括来自不同波长带的数据。训练后的人工神经网络用于从第三图像生成第二组织样本的虚拟染色图像，并且输出虚拟染色图像。

该方法还可以包括，对于多个图像对中的每一个图像对，将第一图像与第二图像空间配准，使得第一图像中的每一个像素与第二图像中位于相同空间坐标处的相应像素相关。将第一图像与第二图像空间配准可以包括通过最大化互信息来使用仿射变换。