[发明专利]基于双线性注意力网络的医学影像数据分类方法及系统

权利要求书

1.基于双线性注意力网络的医学影像数据分类方法，其特征是，包括：

提取单张静态图像的空间特征图；

将上述空间特征图作为第一输入特征图，利用通道注意力机制处理第一输入特征图生成最终的通道注意力特征图；

将通道注意力特征图和第一输入特征图做元素级乘法操作生成第二输入特征图；

针对第二输入特征图应用空间注意力机制处理后输出二维空间注意力图；

其中，所述通道注意力机制及空间注意力机制基于双线性注意力网络实现数据的处理，得到融合特征，用于分类器分类。

2.如权利要求1所述的基于双线性注意力网络的医学影像数据分类方法，其特征是，利用通道注意力机制处理第一输入特征图时，先将第一输入特征图分别经过全局最大池化层和全局平均池化层，然后再分别经过多层感知机，经过函数进行激活操作，生成最终的通道注意力特征图。

3.如权利要求1所述的基于双线性注意力网络的医学影像数据分类方法，其特征是，针对第二输入特征图应用空间注意力机制处理时，将第二输入特征图应用最大池化层和平均池化层操作，生成两个特征映射的二维通道信息图，将结果做聚合操作生成有效的特征描述符，再经过标准卷积层将上述信息连接并进行卷积，最后输出二维空间注意力图。

4.如权利要求1所述的基于双线性注意力网络的医学影像数据分类方法，其特征是，所述双线性注意力网络包括残差学习模块，用于将原始输入信息通过跳跃连接方式直接传输至下一层网络，同时梯度在反向传播时也是通过跳跃连接直接传递至上一层。

5.如权利要求4所述的基于双线性注意力网络的医学影像数据分类方法，其特征是，所述双线性注意力网络为采用ResNet50作为骨架网络来构建的双线性网络，ResNet50是基于Bottleneck搭成的网络，每个层都由若干的块搭建而成，再由层组成整个网络。

6.如权利要求5所述的基于双线性注意力网络的医学影像数据分类方法，其特征是，在ResNet50的骨架网络中添加双线性池化层，对于卷积网络从输入图像在某一位置上提取的两个特征，将输出矩阵通过矩阵运算，之后通过池化层得到关于两个特征的线性向量，最后通过归一化操作得到融合特征，用于分类器分类。

7.基于双线性注意力网络的医学影像数据分类系统，其特征是，包括：

二维卷积CNN模块，用于提取单张静态图像的空间特征图；

注意力机制模块，包括通道注意力模块及空间注意力模块；

所述通道注意力模块用于将上述空间特征图作为第一输入特征图，利用通道注意力机制处理第一输入特征图生成最终的通道注意力特征图；

将通道注意力特征图和第一输入特征图做元素级乘法操作生成第二输入特征图；

所述空间注意力模块，针对第二输入特征图应用空间注意力机制处理后输出二维空间注意力图；

所述通道注意力机制及空间注意力机制基于双线性注意力网络实现数据的处理，得到融合特征，用于分类器分类。

8.如权利要求7所述的基于双线性注意力网络的医学影像数据分类系统，其特征是，还包括：双线性残差网络结构模块，基于双线性注意力网络将原始输入信息通过跳跃连接方式直接传输至下一层网络，同时梯度在反向传播时也是通过跳跃连接直接传递至上一层。

优选的，所述注意力机制模块嵌入双线性注意力网络每个块最后卷积层的后面；

嵌入时，将每个块断开，卷积层间不直接相连，每个块第一个卷积层的输出作为通道注意力模块的输入，用于保证在主干网络中，充分提取输入图像的特征，同时去掉冗余信息。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。