[发明专利]使用深度学习将二维荧光波传播到表面上的系统和方法

说明书

荧光显微镜方法包括经训练的深度神经网络。将样本的至少一个2D荧光显微镜图像输入到经训练的深度神经网络，其中输入图像附加有数字传播矩阵(DPM)，该数字传播矩阵逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离。经训练的深度神经网络输出样本的荧光输出图像，该荧光输出图像被数字传播或重新聚焦到用户定义或自动生成的表面。该方法和系统交叉连接不同的成像模态，允许宽视场荧光图像的3D传播以匹配不同样本平面处的共焦显微镜图像。该方法可以用于输出样本内的2D或3D表面的图像的时间序列(例如，延时视频)。

相关申请

本申请要求于2019年10月8日提交的第62/912,537号的和于2018年12月26日提交的第62/785,012号的美国临时专利申请的优先权，其全部内容通过引用并入本文。根据35U.S.C.§119和任何其它适用的法规要求优先权。

技术领域

本技术领域总体上涉及用于获得样品或对象的荧光图像的系统和方法。更具体地，该技术领域涉及荧光显微镜，其通过训练深度神经网络来使用数字图像传播框架，该深度神经网络使用显微图像数据固有地学习控制荧光波传播和时间反转的物理定律，以将2D荧光图像虚拟地重新聚焦到样品内的用户定义的3D表面上，从而使得能够使用单个二维(2D)图像对荧光样品进行三维(3D)成像，而无需任何机械扫描或附加硬件。该框架还可以用于校正样品漂移、倾斜和其他像差，所有这些都在获取单个荧光图像之后数字地执行。该框架还将不同的成像模态彼此交叉连接，使得单个宽场荧光图像的3D重新聚焦能够匹配在不同样品平面处获取的共焦显微镜图像。

背景技术

三维(3D)荧光显微成像对于生物医学和物理科学以及工程是必不可少的，涵盖各种应用。尽管其具有广泛的重要性，但3D样品的荧光图像数据的高通量采集仍然是显微镜研究中的挑战。3D荧光信息通常通过跨样品体积扫描来获取，其中获得若干2D荧光图像/测量，3D中的每个焦平面或点中的一者，其形成例如共焦、双光子、光片或各种超分辨率显微镜技术的基础。然而，因为使用扫描，所以即使利用优化的扫描策略或点扩散函数(PSF)工程，用于体积样本的系统的图像获取速度和吞吐量也限于相机/检测器的帧速率的一部分。此外，因为没有同时获取不同样本平面/点处的图像，所以样本荧光的时间变化可能不可避免地引起图像伪像。另一个问题是照明的光毒性和荧光的光漂白，因为样本的一部分可以在扫描过程期间被重复激发。

为了克服这些挑战中的一些，还开发了非扫描3D荧光显微镜方法，使得样本的整个3D体积可以以与检测器帧速率相同的速度成像。这些方法之一是荧光光场显微镜。该系统通常使用附加的微透镜阵列将样本光线的2D角度信息以及2D空间信息编码到图像传感器像素中；然后，可以从该记录的4D光场数字地重建图像的3D焦点堆叠。然而，使用微透镜阵列降低了空间采样率，这导致显微镜的横向和轴向分辨率两者的牺牲。尽管可以通过3D去卷积或压缩传感技术来提高图像分辨率，但是这些方法的成功取决于关于样本的各种假设和图像形成过程的前向模型。此外，这些计算方法是相对耗时的，因为它们涉及作为图像重建过程的一部分的迭代超参数调整。还开发了称为多焦点显微镜的相关方法，以将样本的深度信息映射到单个图像内的不同平行位置上。然而，该方法的改进的3D成像速度也以降低的成像分辨率或视场(FOV)为代价，并且只能推断样本体积内的实验预定义(固定)的焦平面集合。作为另一替代方案，荧光信号也可以光学相关以形成菲涅耳(Fresnel)相关全息图，将3D样本信息编码在干涉图案中。为了检索缺失的相位信息，该计算方法需要捕获多个图像以用于样本的体积成像。非常重要的是，上面概述的所有这些方法以及许多其他方法需要将定制的光学部件和硬件添加到标准荧光显微镜中，潜在地需要大量的对准和校准程序，这不仅增加了光学设置的成本和复杂性，而且还导致潜在的像差和荧光信号的光子效率降低。

发明内容