[发明专利]基于权重共享的多尺度自注意力目标检测方法

权利要求书

1.一种基于权重共享的多尺度自注意力目标检测方法，其特征在于包含以下步骤：

步骤1：构建深度学习网络，该网络包括用于提取不同尺寸目标特征的基于权重共享机制的自注意力多尺度卷积网络模块，以及用于精确物体定位的丰富特征层次结构，网络搭建步骤如下：

步骤1.1：首先构造一个具有权重共享性质的三通道多尺度卷积网络，进入每个通道前有一个1×1的卷积操作，三个通道的卷积核大小分别为1×1，3×3，5×5；

步骤1.2：把用于1×1，3×3，5×5卷积核的卷积操作分别做拆分，将每次卷积拆分成两次卷积，1×1卷积拆分成1×1与1×1，3×3卷积拆分为3×1和1×3，5×5卷积拆分为5×1和1×5；

步骤1.3：将普通卷积改为膨胀卷积并设置三条通道的扩张率分别为1、2、3，并在每个通道卷积之后分别加入1×1卷积；

步骤1.4：引入残差块，将每条通道卷积前的特征图与经过通道卷积后的特征图做残差处理；

步骤1.5：在多尺度卷积网络模块的三条分支后分别连上一个修改后的自注意力分支，最后将三条分支的结果进行相加；

步骤1.6：把经过基于权重共享机制的自注意力多尺度卷积网络模块后得到的特征图再分别经过尺寸为3×3以及1×1卷积网络进行卷积，分别生成锚点和对应的边框回归偏移量，并同时计算出候选框的位置，其次ROI层则利用候选框在特征图中所标记的位置信息提出对应的候选框特征信息，最后通过全连接层以及损失函数来判断该候选框内的图像所对应的物体分类，从而完成目标检测的总任务；

步骤2：定义区域建议网络的损失函数和优化器及尾部阶段的损失函数和优化器，使得网络梯度进行反向传播；

步骤2.1：构建区域建议网络的损失函数组成部分L_cls以及L_reg：

其中p_i为锚点预测为目标的概率，为真实样本为目标的概率，N_cls为总的锚点数量，R为Smooth L1函数，是与t_i维度相同的向量，表示锚点在区域建议网络训练阶段相对于样本真值的实际的偏移量；

步骤2.2：构建区域建议网络的损失函数L_RPN：

L({pⁱ},{tⁱ})_RPN＝L_cls+λL_reg

其中λ为权重参数；

步骤2.3：构建尾部网络的损失函数L_Tail：

L({pⁱ},{tⁱ})_Tail＝L_cls+λL_reg

其中λ为权重参数；

步骤2.4：构建基于权重共享的多尺度自注意力目标检测方法的损失函数L_Total：

L({pⁱ},{tⁱ})_Total＝L({pⁱ},{tⁱ})_RPN+θL({pⁱ},{tⁱ})_Tail

其中θ为权重参数；

步骤3：对所有输入的图像重新生成尺寸并进行均值归一化的等预处理操作；

步骤4：将经过预处理的图像-标签数据流以较小的批尺寸送入ResNet进行预训练，之后把特征送入构建好的网络进行训练，利用定义好的损失函数和优化器反向传播网络梯度，使用交叉验证方法检验网络性能，最终使网络收敛至最佳状态，并保存训练好的模型用于直接使用；

步骤5：根据模型预测的结果t＝{t_x,t_y,t_w,t_h}可以使用公式计算出方框的四个点的坐标：p₁＝(t_x,t_y),p₂＝(t_x+t_w,t_y),p₃＝(t_x+t_w,t_y+t_h),p₄＝(t_x,t_y+t_h)，并标注出识别出的目标类别；

其中t＝{t_x,t_y,t_w,t_h}是一个向量，表示锚点在区域建议网络训练阶段的预测的偏移量。