[发明专利]一种基于多模态MRI图像的肌肉分割模型方法

权利要求书

1.一种基于多模态MRI图像的肌肉分割模型方法，其特征在于，具体步骤包括：

A.遍历整个数据集的每一张MRI图像，解析MRI图像的物理信息；

B.采用两个结构一致参数不共享的编码器分别编码一对MRI图像，它们分别来自FAT模态和WATER模态，得到两个模态的多个中间特征；

C.采用注意力机制子模块拼接上述两个模态的中间特征，得到整合后的多模态特征；

D.通过解码器生成肌肉分割的结果，将该结果和真实标注进行比对，通过反向传播的方式训练模型，得到训练好的基于多模态MRI图像的肌肉分割模型。

2.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，步骤A具体为：

1)遍历整个数据集的每一张MRI图像I_i，解析图像中的层厚信息(d_i，h_i，w_i)，这里d_i，h_i，w_i分别表示图中每个体素的物理深度、高度和宽度；

2)计算出数据集的平均层厚将所有的MRI图像都放缩到该层厚；

3)遍历每张放缩后的MRI图像I′_i，解析分辨率信息(D_i，H_i，W_i)，其中D_i，H_i，W_i分别是图像的深度、高度和宽度；

4)根据每张图像的分辨率信息计算出最大的分辨率并将每张MRI图像填充至该分辨率。

3.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，步骤B具体为：

编码器一，编码来自FAT模态的MRI图像，其中输入MRI图像首先经过卷积子模块1.1，得到中间特征1；再对中间特征1经过池化层做降采样，输入到卷积子模块1.2，得到中间特征2；以此类推得到多个中间特征；

编码器二，编码来自WATER模态的MRI图像，编码过程与编码器一相同。

4.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，步骤C中注意力机制子模块具体操作为：

1)使用一个3D卷积层计算出两个模态的相对权重；

2)在特征的每个空间位置，从权重数组对应位置读出当前位置两个模态的相对权重w₁和w₂，从两个模态分别读出当前位置的特征向量1和特征向量2，按照权重对两个特征向量加权求和得到新的特征向量。

5.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，编码器包含多个层叠的池化层和卷积子模块，卷积子模块以原始图像数据或上一个卷积子模块的输出为输入，得到中间特征。

6.如权利要求5所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，卷积子模块包括多个卷积层和非线性层，图像数据会先经过卷积层，得到数组形状不变的特征，然后再用非线性层把特征中的所有负数置0，得到输出的中间特征。

7.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，解码器由交替的卷积子模块和上采样层所构成，从底层特征开始，逐步用上采样层解析特征的空间维度，采用卷积子模块融合多层特征，最终输出肌肉的分割结果。

8.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，步骤D中计算得到损失函数：

其中，表示预测的分割结果在位置(i，j，k)的取值，表示金标准人工标注结果在位置(i，j，k)的取值，δ(x，y)是一个判断函数，当x和y数值一致时，δ(x，y)取值为1，否则为0；该损失函数衡量了模型分割结果和真实标注结果之间的一致程度，两者一致程度越高，该损失函数的取值低，模型的训练目标就是最小化该损失函数的值。

9.如权利要求8所述的基于多模态MRI图像的肌肉分割模型方法，其特征在于，模型的训练方式是从损失函数开始，回传梯度至两个编码器、注意力机制模块和解码器当中的每个参数，再让每个参数根据其对应的梯度更新。