[发明专利]多模态图像分割方法及系统、分割模型及模型的训练方法

说明书

本发明涉及一种多模态图像分割方法及系统、分割模型及模型的训练方法，模型包括多条编码路径，一个共用网络层和多条解码路径；每条所述编码路径，对应一条所述解码路径，用于对一种医疗成像设备的图像进行下采样，提取所述模态的图像的特征信息；共用网络层，包含视觉Transformer模块，视觉Transformer模块的输入连接编码路径的输出，视觉Transformer模块的输出连接与编码路径对应的所解码路径的输入；每条解码路径，用于对一种医疗成像设备的图像进行上采样，恢复图像分辨率。采用上述多模态图像分割模型进行图像分割，不用经过配准，且多模态图像分割模型的分割精度和鲁棒性得到提高。

技术领域

本发明涉及医学图像分割领域，特别是涉及一种多模态图像分割方法及系统、分割模型及模型的训练方法。

背景技术

近年来，卷积神经网络在医学图像分割中得到了广泛的应用。医学图像分析的主要成像方式有计算机断层扫描(CT)，磁共振成像(MRI)和正电子发射断层扫描(PET)等。然而，训练神经网络的数据对网络的性能有着决定性的作用。大多数方法都应用于单一的成像方式，例如，腹部MRI。与一种模态的图像相比，多模态图像有助于从不同的视图中提取特征，并带来互补的信息，有助于更好的提高网络的鉴别能力和鲁棒性。

目前，多模态学习已经在许多领域进行了广泛的研究。当前，多模态融合方法主要分为input-level fusion，layer-level fusion和decision-level fusion。input-levelfusion方法是在数据输入网络前对数据先进行配准，把配准好的不同模态的数据进行拼接融合一起输入到一个网络进行训练。layer-level fusion方法是把不同模态的数据进行配准，然后不同模态的图像输入不同的分割子网络，将不同子网络得到的特征图融合再输入决策层，也就是说在网络中间融合的。decision-level fusion方法是先把图像进行配准再把不同模态图像分别在不同网络中分割，将分割后的结果进行融合。早期融合的特点是简单，主要考虑后期网络的设计，不考虑不同模态图像之间的关系和怎么融合不同特征。后期融合的特点是学习到了模态之间的不同关系，但是什么时候进行融合和融合策略的选择要视情况而定。

具体来说，目前的多模态学习方法具有以下几个缺点：1)输入网络前大都要对数据进行配准，配准的好坏直接影响了分割的准确性。2)不同模态具有明显不同的特征分布，如：灰度值，形态，直接将特征图融合可能引入特征干扰，从而影响分割的精度。基于此，亟需一种无须经过配准，且分割精度和鲁棒性得到提高的多模态图像分割方法及系统、分割模型及模型的训练方法。

发明内容

本发明的目的是提供一种多模态图像分割方法及系统、分割模型及模型的训练方法，无需经过配准，能够提高分割精度和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种多模态图像分割模型，包括：多条编码路径，一个共用网络层和多条解码路径；

每条所述编码路径，对应一条所述解码路径，每条所述编码路径包括4种尺度的编码器，用于对一种医疗成像设备的图像进行下采样，提取所述模态的图像的特征信息；

一个所述共用网络层，包含视觉Transformer模块，所述视觉Transformer模块的输入连接所述编码路径的输出，所述视觉Transformer模块的输出连接与所述编码路径对应的所述解码路径的输入；

每条所述解码路径，包括4种尺度的解码器，用于对一种医疗成像设备的图像进行上采样，恢复图像分辨率。

本发明还提供一种多模态图像分割模型的训练方法，包括：

获取多模态图像数据集，所述多模态数据集包括由多种医疗成像设备采集的图像组成的数据集；

对所述多模态图像数据集中的数据进行预处理，得到处理后的数据，将所述处理后的数据分为训练集和测试集；