[发明专利]多模态图像分割方法及系统、分割模型及模型的训练方法

权利要求书

1.一种多模态图像分割模型，其特征在于，包括：多条编码路径，一个共用网络层和多条解码路径；

每条所述编码路径，对应一条所述解码路径，每条所述编码路径包括4种尺度的编码器，用于对一种医疗成像设备的图像进行下采样，提取所述模态的图像的特征信息；

一个所述共用网络层，包含视觉Transformer模块，所述视觉Transformer模块的输入连接所述编码路径的输出，所述视觉Transformer模块的输出连接与所述编码路径对应的所述解码路径的输入；

每条所述解码路径，包括4种尺度的解码器，用于对一种所述医疗成像设备的图像进行上采样，恢复图像分辨率。

2.根据权利要求1所述的分割模型，其特征在于，所述医疗成像设备包括：CT设备和核磁共振设备。

3.根据权利要求1所述的分割模型，其特征在于，多条所述编码路径的结构相同，多条所述解码路径的结构相同。

4.根据权利要求1所述的分割模型，其特征在于，每条所述编码路径上具有多种不同的尺度，每个所述尺度使用三层残差单元。

5.一种多模态图像分割模型的训练方法，其特征在于，包括：

获取多模态图像数据集，所述多模态数据集包括由多种医疗成像设备采集的图像组成的数据集；

对所述多模态图像数据集中的数据进行预处理，得到处理后的数据，将所述处理后的数据分为训练集和测试集；

利用所述训练集对权利要求1所述的多模态图像分割模型进行训练，利用所述测试集对权利要求1至4任一项所述的多模态图像分割模型进行测试，得到训练好的多模态图像分割模型，其中，所述训练过程的输入为多种所述医疗成像设备采集的图像，标签为肝脏、脾脏、左肾和右肾。

6.根据权利要求5所述的方法，其特征在于，所述对所述多模态图像数据集进行预处理，具体包括：

对所述多模态图像数据集中的数据进行重采样，得到第一图像；

将所述第一图像中所述CT图像中低于预设值的灰度值裁掉，得到第二图像；

并对所述第二图像进行归一化处理，得到第三图像；

对所述第三图像加入高斯噪声进行数据增强，得到第四图像；

将所述第四图像中的数据根据待分割器官数目和位置进行随机取样，得到多个样本图像，每个所述样本图像中至少包含一个待分割器官，且每个所述样本图像大小相同。

7.一种多模态图像分割方法，其特征在于，包括：

将待分割的多模态图像输入权利要求5至6任一项所述的训练好的多模态图像分割模型，识别所述多模态图像中肝脏、脾脏、左肾和右肾。

8.一种多模态医学图像分割系统，其特征在于，包括：

分割模块，用于将待分割的多模态医学图像输入权利要求5至6任一项所述的训练好的多模态图像分割模型，识别所述多模态医学图像中肝脏、脾脏、左肾和右肾。