[发明专利]一种基于多尺度跨图像弱监督学习的违禁物检测方法

权利要求书

1.一种基于多尺度跨图像弱监督学习的违禁物检测方法，其特征在于，包括以下步骤：

(1)构建违禁物检测模型，包括用于图像多尺度特征提取与融合的特征交互模型、学习目标语义信息的跨图像弱监督语义分析模型、分割掩码辅助检测模型；

所述特征交互模型的构建方法如下：

输入原始图像I，通过编码器提取多尺度初始特征图编码器是由C个残差块组成的残差学习网络，C即为特征图的尺度数；相邻尺度下的特征图进行特征交互，即对低层特征图中层特征图和高层特征图进行采样得到相同分辨率的特征图，之后进行像素加和，得到对应尺度下的多尺度交互图f₁ⁱ；将第k-1轮特征交互图作为新一轮特征交互的初始特征图K为总迭代次数，得到第k轮特征交互的输出特征图对每个尺度i下生成的K轮特征交互图进行像素加和，得到每个尺度i下的上下文信息特征图{fⁱ}，i＝1，2，...，C；将各尺度下的上下文信息特征图通过门限卷积网络进行融合，得到原始图像的多尺度上下文融合特征图F；

所述跨图像弱监督语义分析模型的构建方法如下：

从训练集中随机抽样图像对(I_m，I_n)，图像I_n根据物体外接框标注信息裁剪图像内容，并缩放至固定尺寸，且l_n∈{0，1}^K为图像对应的one-hot格式的图像类别标签，K为违禁物候选类别数加1；使用特征交互模型输出特征图(F_m，F_n)∈R^U×H×W作为模型输入，其中U，H，W分别为特征图的通道数、高度、宽度；特征图通过CFC操作获得类别感知的激活特征图(S_m，S_n)∈R^Q×H×W，Q为激活特征图的通道数，通过GAP操作获得类别置信度向量(s_m，s_n)∈R^Q，利用Sigmoid函数进行归一化，并根据归一化结果计算交叉熵损失函数L_ce(·)，得到单张图像I_j的分类损失：L_ce(s_j，l_j)，并将单张图像的分类损失加和得到图像对(I_m，I_n)的分类损失：假设对特征图(F_m，F_n)作形状调整，得到展平特征图其中HW是输入特征图中的像素数目，计算跨图像联合注意力相似性矩阵来度量不同特征图任意位置间的相似性，其中，W_P∈R^U×U是需要学习的权值矩阵；将softmax函数应用于P_mn、P_nm进行归一化，得到跨图像联合注意力图(A_m，A_n)∈R^HW×HW；将与(A_m，A_n)作矩阵乘法，得到展平的跨图像环境特征图和将作形状调整，获得环境特征图环境特征图通过CFC操作得到类别感知的激活特征图通过GAP操作获得类别置信度向量利用Sigmoid函数进行归一化，并根据归一化结果计算交叉熵损失函数L_ce(·)，从而构造跨图像联合注意力分类损失函数：其中，l_m∩l_n是图像对(I_m，I_n)的共有类别标签集合；总分类损失函数其中α为跨图像联合注意力分类损失函数的权重；

所述分割掩码辅助检测模型包括分割模块和检测模块，构建方法如下：

将训练集中的任一图像I_j通过跨图像弱监督语义分析模型生成的类别感知激活图输入解码器，解码器由与编码器相对应的C个残差块组成，通过解码器得到语义分割掩码其中，θ是解码器网络权重，f_d(·)为映射函数，O_j与输入图像I_j的分辨率相同；对跨图像弱监督语义分析模型中的类别置信度向量s_j∈R^Q进行上采样、二值化处理，将处理结果作为前景目标伪掩码，使用显著性概率图作为背景伪掩码，从而构成伪分割掩码E_j；优化分割模块损失函数：L_seg＝∑_jL_bce(O_j，E_j)，其中L_bce(·)为二值化交叉熵损失函数；将与下采样到的分辨率的语义分割掩码O′_j进行级联，级联结果O″_j分别输入分类分支和定位分支，分类分支由一层全连接层实现，用于预测分类置信度向量；定位分支由两层全连接层实现，用于定位目标位置p_j＝(x_j，y_j，w_j，h_j)，其中(x_j，y_j)为目标中心位置坐标，(w_j，h_j)为目标外接框的像素宽度、高度；使用交叉熵损失函数L_ce(·)优化模型分类分支，L1范式损失函数L₁(·)优化目标定位分支，分割掩码辅助检测模型的检测模块总损失函数为：L_det＝∑_j(L_ce(r_j，t_j)+βL₁(p_j，d_j))，其中，t_j，d_j分别为分类分支、定位分支的真实标签，r_j为预测类别，β为混合平衡因子；

(2)得到检测结果：利用训练样本训练违禁物检测模型；测试时将待检测图像输入违禁物检测模型，得到违禁物位置和种类。