[发明专利]一种应用多注意力机制的医学图像分割方法及系统

权利要求书

1.一种应用多注意力机制的医学图像分割系统，其特征在于，包括网络架构，所述网络架构包括编码器模块、解码器模块、融合模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；两个独立的编码器用于接收互补的两个模态图像，通过CMFL模块获取跨模态之间的图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；融合模块用于将两种跨模态图像互补特征融合后输送至解码器模块解码，融合模块包括尺度双重注意力模块即MSDA模块，所述MSDA模块包括位置注意力模块即PAM模块和通道注意力模块即CAM模块；所述MSDA模块用于将两种跨模态互补特征图像经不同大小卷积核提取多尺度特征后，在通道维度拼接获得拼接特征图像，然后采用并行方式用PAM模块和CAM模块分别捕获位置特征依赖关系和通道特征依赖关系，最后将PAM和CAM两个模块的输出进行融合。

2.基于权利要求1所述的医学图像分割系统的医学图像分割方法，其特征在于，包括以下步骤：S1、构建网络结构，所述网络结构包括编码器模块、解码器模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；S2、将两种互补模态的医学图像分别输入至两个编码器中，由跨模态互补特征学习注意力模块CMFL获取两种模态之间的跨模态图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；

S3、将两种跨模态图像互补特征进行特征融合再通过解码器模块解码即可。

3.根据权利要求2所述的医学图像分割方法，其特征在于，跨模态互补特征学习注意力模块CMFL通过计算一个模态的当前位置对另一个模态全局位置的响应权重来获得两种模态互补的重要信息，实现每个编码器提取的单个模态的深度图像特征与另一个模态的深度图像特征相补充。

4.根据权利要求3所述的医学图像分割方法，其特征在于，跨模态互补特征学习注意力模块CMFL可以用以下公式表示：

（1）

（2）

（3）

（4）

（5）

（6）

其中 N 是所有样本的集合，用于标准化的函数，公式（1）和公式（2）中的和分别为第一种模态和第二种模态的标准化函数，即将、分别代入公式（5）可得和，、分别是第一种模态的输入特征图和第二种模态的输入特征图，代表当前位置响应，代表全局响应，是计算得到的与第一模态输入特征大小相同的跨模态特征的输出， 是计算得到的与第二模态输入特征大小相同的跨模态特征的输出，函数是计算一种模态下当前位置相应 和全局相应之间的相似度，为在第一种模态下使用第一种模态的局部响应来计算与第二种模态的全局响应的相似度，函数为在第二种模态下使用第二种模态的局部响应来计算与第一种模态的全局响应的相似度； 函数计算一种模态下输入特征图在 位置的特性表示，是指第一种模态下输入特征图在 位置的特性表示，是指第二种模态下输入特征图在位置的特性表示，和，均为可学习的权重矩阵，代表的是当前关注位置的信息，代表的是全局信息，通过两者的相乘将信息变为可学习的，和的物理意义分别为模态学习的全局特征和局部特征，和分别代表第一种模态学习的全局特征和第二种模态学习的全局特征，和分别代表第一种模态学习的局部特征和第二种模态学习的局部特征，代表第一种模态的输入特征当前关注位置信息，代表第一种模态的输入特征的全局信息，代表第二种模态的输入特征当前关注位置信息，代表第二种模态的输入特征的全局信息。

5.根据权利要求2所述的医学图像分割方法，其特征在于，S3特征融合过程中，还包括多尺度双重注意力模块即MSDA模块，所述MSDA模块包括位置注意力模块即PAM模块和通道注意力模块即CAM模块，具体过程：将两种跨模态互补特征图像经不同大小卷积核提取多尺度特征后，在通道维度拼接获得拼接特征图像，然后采用并行方式用PAM模块和CAM模块分别捕获位置特征依赖关系和通道特征依赖关系，最后将PAM和CAM两个模块的输出进行融合。