[发明专利]基于深度学习的彩色全息显微镜的系统和方法

说明书

一种用于执行单个超分辨的全息样本图像的彩色图像重建的方法，包括通过在多个颜色通道同时照明，使用图像传感器获得样本的多个子像素移位的较低分辨率全息图像。基于较低分辨率全息图像，数字生成每个颜色通道的超分辨的全息强度图像。利用图像处理软件将每个颜色通道的超分辨的全息强度图像反向传播到物平面，以生成每个颜色通道的样本的真实和虚拟输入图像。提供经训练的深度神经网络，并由图像处理软件使用计算装置的一个或多个处理器来执行，并且被配置为接收每个颜色通道的样本的真实输入图像和虚拟输入图像，并生成样本的彩色输出图像。

相关申请

本申请要求2019年4月22日提交的美国临时专利申请号62/837,066的优先权，该申请的全部内容通过引用结合于此。根据美国法典第35编第119节和任何其他适用法规要求优先权。

关于联邦赞助的研究与开发的声明

本发明是在政府支持下由国家科学基金会授予的授予号EEC 1648451的资助下完成的。政府对这项发明有一定的权利。

技术领域

技术领域通常涉及用于使用经训练的深度神经网络，使用单个超分辨的全息图来执行高保真彩色图像重建的方法和系统。具体而言，该系统和方法使用从样本获得的单个超分辨的全息图作为经训练的深度神经网络的输入，同时以多个不同的波长照明该样本，该深度神经网络输出样本的高保真彩色图像。

背景技术

安装在载玻片上的固定薄组织切片的组织学染色是诊断各种医学状况所需的一个基本步骤。组织学染色用于通过增强细胞和亚细胞成分的比色对比度来突出组织组成部分，以进行显微镜检查。因此，染色病理切片的准确颜色表示是做出可靠和一致诊断的重要前提。与明场显微镜不同，另一种用于使用相干成像系统从样本中获取颜色信息的方法需要在可见光谱的红色、绿色和蓝色部分采集至少三个全息图，从而形成用于重建合成彩色图像的红-绿-蓝(RGB)颜色通道。然而，在相干成像系统中使用的这种彩色化方法存在颜色不准确的问题，并且对于组织病理学和诊断应用来说可能被认为是不可接受的。

为了使用相干成像系统提高颜色精度，可以使用计算超光谱成像方法。然而，这种系统通常需要工程照明，例如，可调谐激光器，以有效地对可见光波段进行采样。先前的贡献已经证明，为了生成准确的彩色图像，成功地减少了可见光波段所需采样位置的数量。例如，Peercy等人演示了一种波长选择方法，该方法使用高斯求积或黎曼求和来重建在反射模式全息术中成像的样本的彩色图像，由此提出至少需要四个波长来生成自然物体的精确彩色图像。参见Peercy等人的“真彩色全息术的波长选择”，应用光学33，6811-6817(1994)。

后来，演示了一种基于维纳估计的方法来量化物体在四个固定波长下的光谱反射率分布，从而提高了自然物体的颜色精度。参见P.Xia等人的“使用光谱估计技术的数字全息术”，Display Technol.，JDT10，235-242(2014)。最近，Zhang等人提出了一种基于最小均方误差估计的吸收光谱估计方法，专门用于利用同轴全息术创建病理切片的精确彩色图像。参见Zhang等人的“利用组织化学染色的全息术和吸收光谱估计对病理切片进行精确的彩色成像”，Journal of Biophotonics e201800335(2018)。因为染色组织病理学载玻片内的颜色分布受到所用比色染料组合的限制，所以该方法成功地将所需的波长数减少到三个，同时仍然保持准确的颜色表示。然而，由于双像伪影引入的失真和单位放大率片上全息系统的有限分辨率，实现了多高度相位恢复和像素超分辨率(PSR)技术，以获得可接受的图像质量。在Zhang等人的方法中，在四个不同的样本至传感器(z)距离处收集四个(或更多)超分辨全息图。这需要一个可移动台，该可移动台不仅允许用于获取PSR图像的横向(x，y)运动，还需要在垂直或z方向上移动，以获取多高度图像。

发明内容