[发明专利]基于深度学习的多模态医学图像融合方法及系统

说明书

本发明提供一种基于深度学习的多模态医学图像融合方法及系统，该方法包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。本发明的多模态医学图像配准精度高，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率。

技术领域

本发明涉及医学图像处理技术领域，具体涉及一种基于深度学习的多模态医学图像融合方法及系统。

背景技术

在现代数字化医疗诊断过程中，医护人员通常需要在进行手术之前利用已采集的患者的多模态三维图像对患者病变部位进行分析，从而制定适宜的手术计划。由于各个图像突出显示的图像特征不同，为了便于医生观察和制定手术计划，则需要对术前采集的多种模态的图像的优点进行综合，即需要进行多模态图像配准，以将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示。

相关的多模态图像配准技术，通常采用迭代最近点方法、或求解待配准图像间距离函数最优化问题的方法，在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

对各图像初始对齐状况、相似度要求较高，导致图像配准融合的复杂度较高，图像配准融合精度较低，时间成本较高，且无法有效应用于非刚性配准。

发明内容

本发明提供一种基于深度学习的多模态医学图像融合方法及系统，用以克服现有技术中多模态图像配准融合精度低、复杂度高、时间成本高以及无法有效应用于非刚性配准情况等的缺陷，实现提升多模态图像融合精准度、降低时间成本，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率，以及可有效应用于非刚性配准情况的效果。

本发明提供一种基于深度学习的多模态医学图像融合方法，包括：

获取患者的至少两种模态的二维医学图像；

将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；

基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；

对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。

在一些实施例中，基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，包括：

分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集；

基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像。

在一些实施例中，所述至少两种模态的二维医学图像包括二维 CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT 医学图像中的至少两种，所述本体包括股骨，所述本体头包括股骨头；

分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：

基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于所述股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集；