[发明专利]一种基于空间分组注意力模型的外科手术器械图像识别方法

权利要求书

1.一种基于空间分组注意力模型的外科手术器械图像识别方法，其特征在于，具体步骤如下：

步骤1、数据采集，进行针对常见外科手术的数据集构建；

(1.1)针对外科手术使用到的手术器械包，通过模拟手术室环境，利用摄像头结合不同的拍摄角度对包中的所有手术器械进行图像采集，构成原始数据集；摄像头分别为每一个器械采集多张图片且每张图片内仅包含该器械；

(1.2)对步骤(1.1)获得的原始数据集进行训练集与测试集的划分；将原始数据集平均划分为n部分，随机取其中的若干部分作为训练集，剩余部分作为测试集，得到m种组合方法；将划分后的数据集送入分类网络实现对m种组合的稳定性验证，最终选取最稳定的训练集与测试集用于后续的训练与测试；

步骤2、外科手术器械图像分类，使用基于空间分组的注意力模块的卷积神经网络实现对外科手术器械图像的分类；

(2.1)对步骤1所得的图像利用随机剪裁或翻转技术预处理得到数据增强及数据扩增后的图像；

(2.2)将经过步骤(2.1)预处理过的图像X送入嵌入了空间分组注意力模块的ResNet网络，经过多层卷积操作，得到多通道的特征图X′∈R^7×7×C，其中7×7和C分别为特征图X′的空间维度和通道维度；

进一步地，步骤(2.2)中所述的空间分组注意力模块包括以下步骤：

(2.2.1)对于神经网络层中的中间特征图X₀∈R^H×W×C，先将其送入卷积核大小为1×1的卷积层进行降维操作得到特征图X₁∈R^H×W×C1，其中H×W表示对应特征图的空间维度，C和C1表示对应特征图的通道维度；

(2.2.2)采用组卷积对特征图X₁进行基于通道分组操作，得到多个维度相同的子特征图X₁＝{x₁,x₂,…,x_i,…,x_group},x_i∈R^{H×W×C1/group}，，其中group表示子特征图个数，i＝[1,…,group]，x_i表示第i个子特征图；

(2.2.3)对每个子特征图x_i分别采取空间组增强注意力变换，具体操作如下：

(a)对于所有得到的子特征图x_i∈R^m×c，对其进行基于空间的全局平均池化操作F_gp(·)，得到子特征图x_i的全局语义向量g∈R^1×c，其中m＝H×W，表示子特征图的空间维度，c＝C1/group，表示子特征图的通道维度；

(b)使用子特征图x_i的全局语义向量，让其与每个子特征图点乘得到与每个子特征图对应的重要性系数c_i∈R^m×1；

(c)对每个重要性系数c_i在空间维度做标准化得到c′_i；

(d)对每个经过标准化的重要性系数c′_i进行尺度和平移变换得到a_i；

(e)新生成的重要性系数a_i通过一个sigmoid函数σ(·)并与a_i对应的子特征图x_i结合生成每个子特征图的空间增强子特征图x′_i；

(f)结合步骤(e)中得到的空间增强子特征图x′_i，得到特征图X′₁＝{x′₁,x′₂,…,x′_i,…,x′_group′},x′_i∈R^{H×W×C1/group′}，其中group′表示空间增强子特征图个数，i＝[1,…,group′]，x′_i表示第i个增强后的子特征图；

(g)将X′₁送入卷积核为1×1的卷积层进行升维操作，得到与X₀维度相同的特征图X′₀∈R^H×W×C，其中H×W表示特征图X′₀的空间维度，C表示特征图X′₀的通道维度；

(h)将步骤(2.2.1)中的中间特征图X₀与步骤(g)得到的特征图X′₀结合得到空间分组注意力模块的输出特征图其中H×W表示特征图的空间维度，C表示特征图的通道维度；

(2.3)将特征图X′送入全局平均池化层得到特征向量Z∈R^1×1×C，其中C表示特征向量Z的维度；

(2.4)将特征向量Z送入全连接层和SoftMax得到预测的类别；

(2.5)利用步骤1中构建的数据集训练步骤(2.1)～(2.4)所构建的基于空间分组的注意力模块的卷积神经网络，得到预训练的网络结构，并用训练好的网络实现对外科手术器械图像的识别。