[发明专利]多模态体积图像的基于模型的融合的方法和系统

说明书

本申请要求2011年3月9日提交的美国临时申请No.61/451,006的权益，该美国临时申请的公开内容在此通过引用结合于此。

技术领域

本发明涉及多模态体积医学图像的融合，并且更特别地，涉及术前和术中体积医学图像的基于模型的融合。

背景技术

近年来，心脏治疗的主要趋势已朝向微创经导管过程，以减少利用传统外科技术所涉及的风险。不是全胸骨切开术，而是器材和设备通过小切口被引入，通过脉管前进，并且被定位来执行各种过程。在不需要直接接入和观察受影响的结构的情况下，这样的介入通常在所谓的混合手术室(配备有高级成像装备的手术室)中被执行。使用这样的高级成像装备，诸如经导管主动脉瓣置换术(TAV)的过程经由通过C-臂X射线和经食管超声心动图系统所提供的实时术中图像来引导。

照惯例，医学图像分析领域已集中在根据成熟的诊断成像模态(例如，计算机断层扫描(CT)和磁共振(MR))来构造患者特定的解剖模型，以帮助疾病分析和治疗计划。例如，在瓣膜病管理的环境中，已提出用于在CT和/或MR图像中构建主动脉和二尖瓣的模型的技术。然而，这样的技术还未被开发来应对术中图像的降低的质量和对比度特征。因此，这样的技术的使用被限于术前决策。

发明内容

本发明提供一种用于通过根据多个成像模态来联合地估计解剖模型而融合术前和术中图像信息的方法和系统。术前和术中图像信息的融合允许高质量的患者特定的模型被集成到手术室的成像环境中，以引导心脏介入。本发明的实施方式通过依靠机器学习技术来实现稳健性(robustness)和效率，以驱动联合估计过程，由此利用了多个成像模态之间的相似性。本发明的实施方式采用在概率估计框架之内的统计学解剖模型，以确保生理适应的结果(physiological compliantresult)。

在本发明的一个实施方式中，接收使用第一成像模态来捕获的第一图像，以及接收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，而变换将目标解剖结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于所估计的变换进行融合。根据本发明的一种用于多模态图像的融合的方法，其包括：接收使用第一成像模态来捕获的第一图像；接收使用第二成像模态来捕获的第二图像；以及根据第一和第二图像联合地估计目标解剖结构的模型以及估计所述第一和第二图像之间的变换，其中所述目标解剖结构的模型以及所述第一和第二图像之间的变换这二者是根据所述第一和第二图像二者共同估计的。以下讲述所述的方法的改进方案。目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。变换包括仿射变换和非线性卷绕变换。使用所述变换根据第一和第二图像生成被融合的图像。所述根据第一和第二图像联合地估计目标解剖结构的模型以及估计所述第一和第二图像之间的变换的步骤包括：在第一和第二图像中的每个图像中独立地检测界标；使用第一和第二图像中所检测到的界标来估计最初的变换；基于在第一图像中检测到的界标初始化第一图像中的模型；使用最初的变换初始化第二图像中的所投影的模型；以及至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换。至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换的步骤包括：基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及基于目标解剖结构的所学习到的统计学形状模型，正则化模型和变换。基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的步骤包括：对于模型的每个点，沿着垂直于模型上点的线在第一图像中采集多个候选，以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选；使用相应的经过训练的检测器，计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率；使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能的候选对的联合概率；以及通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率，计算针对第一和第二图像中的每个可能候选对的总概率；以及选择第一和第二图像中具有最高总概率的候选对。变换包括仿射变换和非线性卷绕变换，以及基于目标解剖结构的所学习到的统计学形状模型而正则化模型和变换的步骤包括：基于所学习到的统计学形状模型，计算模型和变换的后验概率；通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型，以改进后验概率；基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换的步骤进一步包括：重复更新模型和所投影的模型的点以及正则化模型和变换的步骤，直到模型和变换收敛。第一图像是术前图像，而第二图像是术中图像。术前图像是计算机断层扫描(CT)图像，以及术中图像是C-臂CT图像和经食管超声心动图(TEE)图像中的一个。目标解剖结构是主动脉瓣。根据本发明的一种用于多模态图像的融合的设备，其包括：用于接收使用第一成像模态来捕获的第一图像的装置；用于接收使用第二成像模态来捕获的第二图像的装置；以及用于根据第一和第二图像联合地估计目标解剖结构的模型以及估计所述第一和第二图像之间的变换的装置，其中所述目标解剖结构的模型以及所述第一和第二图像之间的变换这二者是根据所述第一和第二图像二者共同估计的。以下讲述所述的设备的改进方案。目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。变换包括仿射变换和非线性卷绕变换。所述设备进一步包括：用于使用变换根据第一和第二图像生成被融合的图像的装置。所述用于根据第一和第二图像联合地估计目标解剖结构的模型以及估计所述第一和第二图像之间的变换的装置包括：用于在第一和第二图像中的每个图像中独立地检测界标的装置；用于使用在第一和第二图像中检测到的界标来估计最初的变换的装置；用于基于在第一图像中检测到的界标来初始化第一图像中的模型的装置；用于使用最初的变换初始化第二图像中的所投射的模型的装置；以及用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置。用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置包括：用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置；以及用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置。用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置包括：针对模型的每个点，用于沿着垂直于模型上的点的线在第一图像中采集多个候选以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选的装置；用于使用相应的经过训练的检测器来计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率的装置；用于使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能候选对的联合概率的装置；以及用于通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率来计算第一和第二图像中的每个可能候选对的总概率的装置；以及用于选择第一和第二图像中具有最高总概率的候选对的装置。变换包括仿射变换和非线性卷绕变换，以及用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置包括：用于基于所学习到的统计学形状模型来计算模型和变换的后验概率的装置；用于通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型以改进后验概率的装置；基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。