[发明专利]用于基于卷积神经网络回归的2D/3D图像配准的方法和系统

说明书

本申请涉及用于基于卷积神经网络回归的2D/3D图像配准的方法和系统。基于与根据该3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数，确定参数空间区域。基于针对所确定的参数空间区域提取的该3D医学图像中的3D点集合，根据该DRR和该X‑光图像的局部块，计算局部图像残差（LIR）特征。使用针对所确定的参数空间区域训练的回归量的分层序列，基于该LIR特征，计算更新的变换参数。该回归量的分层序列包括多个回归量，该多个回归量中的每一个计算针对该变换参数的相应子集的更新。

本申请要求2015年7月22日递交的美国临时申请No. 62/195,430和2015年9月8日递交的美国临时申请No. 62/215,326的权益，所述美国临时申请的公开以引用方式并入本文。

背景技术

本发明涉及二维（2D）到三维（3D）医学图像配准，并且更具体地，涉及基于深度学习的2D/3D医学图像配准。

二维（2D）到三维（3D）图像配准是医学成像和图像导引介入治疗中的重要技术。2D/3D图像配准可以用于将术前3D医学图像数据和术中2D医学图像数据引入相同的坐标系统，以促进精确诊断和/或所提供的高级图像导引。例如，术前3D医学图像数据一般包括计算机断层扫描（CT）、锥束CT（CBCT）、核磁共振成像（MRI）和/或医学设备的计算机辅助设计（CAD）模型，而术中2D医学图像数据一般是X-光图像。

2D/3D图像配准一般使用基于强度的方法实现。在这种基于强度的2D/3D图像配准方法中，为了配准由CT或CBCT提供的（或从另一成像模态转变的）3D X-光衰减图，通过对虚拟X-光的衰减进行仿真而从3D衰减图导出仿真的X-光图像（被称为数字重建射线影像（DRR））。然后利用优化器来最大化DRR和X-光图像之间的基于强度的相似性度量，基于强度的方法能够实现高配准精度，但遭受包括长计算时间和小捕捉范围的缺陷。因为基于强度的方法涉及大量相似性度量的评估，每一个在渲染DRR中需要繁重的计算，所以这种方法一般导致超过一秒的运行时间，并且因此不适于实时应用。此外，因为要在基于强度的方法中优化的相似性度量通常是高度非凸性的，优化器有高可能性陷入局部极大值，这导致这种方法具有其中可以实现高配准精度的小捕捉范围。

发明内容

本发明提供了一种用于基于2D/3D医学图像配准深度学习的回归的方法和系统。本发明的实施例实现具有大捕捉范围和高精度的实时2D/3D医学图像配准。本发明的实施例训练卷积神经网络（CNN）回归量，以确定从2D医学图像和根据3D医学图像生成的数字重建射线影像（DRR）到它们潜在变换参数的差的映射。本发明的实施例利用局部图像残差（LIR）特征来简化要由CNN回归量捕捉的潜在映射。本发明的实施例利用参数空间分割（PSP）来将变换参数空间分割为区域，并在每一个区域中分离地训练CNN回归量。本发明的实施例利用分层参数回归（HPR）来分解变换参数并以分层方式对它们进行回归。

在本发明的一个实施例中，参数空间区域是基于与根据3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数确定的。局部图像残差（LIR）特征是基于针对所确定的参数空间区域提取的3D医学图像中的3D点集合根据DRR的局部块和X-光图像计算的。更新的变换参数是使用针对所确定的参数空间区域训练的回归量的分层序列基于LIR特征计算的。回归量的分层序列包括多个回归量，每一个回归量计算针对变换参数的相应子集的更新。

本领域普通技术人员通过参考以下详细描述和附图将使本发明的这些和其他优点变得显而易见。

附图说明

图1示出了根据本发明的一个实施例的六个变换参数的效果；

图2示出了X-光透视几何结构的一个示例；

图3示出了根据本发明的一个实施例的一种用于使用卷积神经网络（CNN）回归的2D/3D医学图像配准的方法；

图4示出了根据本发明的一个实施例的一种用于计算局部图像残差（LIR）特征的流程图；