[发明专利]来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿

说明书

相关申请的交叉引用

本申请与2010年9月15日递交的临时专利申请号61/382980，“Robotic Control of an Endoscope from Blood Vessel Images”及2011年9月13日递交的共同未决非临时国际申请PCT/IB2011/053998相关，通过引用将它们并入本文。

技术领域

本发明涉及医学成像领域，并且更具体而言涉及用于将来自体积成像模态的三维结构叠加到未校准内窥镜的视频上并补偿所述体积结构在所述内窥镜的所述视频上的运动的方法、系统和计算机程序产品。

背景技术

在微创冠状动脉搭桥手术中，典型地使用两种成像模态：(1)术前3D成像(例如计算机断层摄影，或CT或3D X射线血管造影)以提取有关冠状动脉的几何学的信息，以及(2)实时内窥镜成像。归因于覆盖冠状动脉的不同组织，它们通常在内窥镜视频上不完全可见。而且，内窥镜视频典型地是以二维方式记录的。体积3D图像以三维方式提供冠状动脉的完整可视化。然而，外科医师必须准确地内窥镜视频上察看所述冠状动脉的位置，以成功地执行微创冠状动脉搭桥手术。为了在所述动脉在内窥镜视频上不可见时确定他们的位置，可以将所述动脉叠加在所述内窥镜视频上。

然而，已有的用于叠加术前3D成像数据(例如从CT扫描到内窥镜视频上)的方法要求对所述内窥镜的校准，用额外的定位系统追踪，或者两者。校准内窥镜是个复杂的过程，如果处理不当容易出错，并且因此在临床环境中不太实际。内窥镜的光学性质可能随着使用而改变，因此一次校准不能长时间使用。此外，定位系统，例如光学标记物在手术期间并不总是可用，并且给程序增加了相当大的成本和时间。

而且，用于在心脏和其他手术中规划的三维成像通常不是以时间序列执行的(例如门控CT)。因此，结构的3D几何没有把因生理学过程(例如心跳和呼吸)造成的移动考虑在内。例如，在心脏手术中，仅知晓针对心动周期的一个相位的动脉树几何。

发明内容

提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法、系统和程序产品。所述方法包括：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。

根据一个实施例，所述结构为动脉树并且所述多个点对为所述动脉树的分叉点。

根据一个实施例，所述结构为静脉树并且所述多个点对为所述静脉树的分叉点。

根据一个实施例，所述结构为支气管树并且所述多个点对为所述支气管树的分叉点。

根据一个实施例，通过将所述2D内窥镜中的树结构中的分叉图样与来自所述3D图像的所述树结构中的对应的分叉图样进行匹配，来确定多个点对的对应性。

根据一个实施例，使用所确定的点对来导出所述单应性矩阵。

根据一个实施例，针对所述2D内窥镜图像的多于一个不同分区的每个，来导出单应性矩阵。

根据一个实施例，针对所叠加的结构提供运动补偿。通过将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧，来导出对应性矩阵。然后，使用所述对应性矩阵追踪所述结构的运动，来翘曲所绘制的结构投影。

根据一个实施例，使用在时间序列上计算的多个对应性矩阵，来翘曲所叠加的结构。

根据本发明的另一方面，提供一种方法，以补偿叠加的结构的运动。用于对从体积模态绘制到未校准内窥镜的视频上的结构叠加的运动补偿的方法包括以下步骤：确定用于将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧的对应性矩阵；并且使用所述对应性矩阵追踪所述结构的运动，翘曲所绘制的叠加结构。