[发明专利]一种基于多模态MRI图像的肌肉分割模型方法

说明书

本发明公布了一种基于多模态MRI图像的肌肉分割模型方法，属于医学图像分割技术领域。本发明集中所有MRI数据的物理信息，每例MRI数据通过编码器生成FAT模态和WATER模态图像特征，再通过注意力机制子模块整合两个模态的信息，最后通过解码模块生成肌肉分割的结果，再将该结果和真实标注进行比对，通过反向传播的方式训练模型，得到训练好的基于多模态MRI图像的肌肉分割模型。本发明在多模态的情况下，充分利用各个模态之间的互补性，深入挖掘图像的结构信息和语义信息，提高肌肉分割的准确率和稳定性。

技术领域

本发明属于医学图像分割技术领域，具体涉及一种基于多模态MRI图像的肌肉分割模型方法。

背景技术

脂肪浸润是指脂肪细胞出现于正常情况下不含脂肪细胞的组织器官间质中，它是神经肌肉障碍和肌肉代谢紊乱的现象，主要发生于心脏、胰腺、骨骼肌等组织内。在临床上，脂肪浸润的严重程度可以反应疾病的进展情况。近年来，利用磁共振成像(MRI)对肌肉组织进行无创评估的方法逐渐引起关注，分析MRI图像能够测量出包括肌肉组织在内的各种器官的脂肪组成。脂-水分解MRI是一种定量MRI技术，已经在临床中被使用，并广泛应用于脂肪浸润的定量研究。该技术能够根据脂肪和水质子的化学位移差将它们分离成FAT模态图像和WATER模态图像，而基于以上两个模态图像分割出不同肌肉组织则是做定量研究的第一步，也是关键的一步。

为完成肌肉组织的分割，传统方法是人工进行手动勾画，这不仅是一个极其耗时和繁琐的过程，而且容易产生主观偏见的差异。近期的相关工作已经开发出了多种自动分割算法，但是它们大多数都只基于一个模态图像做分割，或者对两个模态图像只做了简单的求和或拼接操作，没有很好地利用好两个模态图像之间的信息互补关系，对图像中的噪声处理能力不够，在一些噪声较大的数据上准确性不足。因此，当前MRI图像上的肌肉分割任务面临着准确性不足和稳定性不够等问题。

2017年，加拿大的Ghosh提出了一种解决方案(《ICIP》2017P4437-4441)：在MRI图像的每一层，使用卷积神经网络将图像信息压缩成一个特征向量，再使用主成分分析的解码步骤把该特征向量解码成肌肉组织分割结果。

2020年，中国香港的Vardhanabhuti提出了另一种解决方案(《Insights intoimaging》2020P1-11)：对大腿的FAT模态图像和WATER模态图像做去噪处理后，将它们一起输入到一个U型架构神经网络并得到各个肌肉组织的分割结果。

发明内容

本发明的目的是提供一种基于多模态MRI图像的肌肉分割模型方法，用以在多模态的情况下，充分利用各个模态之间的互补性，深入挖掘图像的结构信息和语义信息，提高肌肉分割的准确率和稳定性。

为解决上述技术问题，本发明提供的技术方案如下：

一种基于多模态MRI图像的肌肉分割模型方法，具体步骤包括(如图1所示)：

A遍历整个数据集的每一张MRI图像，解析MRI图像的物理信息；

B采用两个结构一致参数不共享的编码器分别编码一对MRI图像，它们分别来自FAT模态和WATER模态，得到两个模态的多个中间特征；

C采用注意力机制子模块拼接上述两个模态的中间特征，得到整合后的多模态特征；

D通过解码器生成肌肉分割的结果，将该结果和真实标注进行比对，通过反向传播的方式训练模型，得到训练好的基于多模态MRI图像的肌肉分割模型。

进一步，步骤A具体为：

1)遍历整个数据集的每一张MRI图像I_i，解析图像中的层厚信息(d_i，h_i，w_i)，这里d_i，h_i，w_i分别表示图中每个体素的物理深度、高度和宽度；