[发明专利]仓储物流下的基于多重注意力和拓扑约束的密度估计方法

权利要求书

1.一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法，其特征在于，包括如下步骤：

(a)计算机获取计数目标物体的原始图像，对原始图像进行预处理，用于模型的训练和测试；

(b)构建密度估计模型并对模型进行初始化，将训练样本输入密度估计模型中，通过最小化损失函数优化密度估计模型；

(c)固定优化后的密度估计模型，并将密度估计模型部署至服务器；

(d)图像采集设备采集图像输入密度估计模型，得到图像中物体的个数；

步骤(b)包括如下步骤：

(b-1)构建Conv-5、Conv-4、Conv-3和Conv-1，2的卷积层、批归一化层和激活层，通过VGG-16网络架构预训练Conv-5、Conv-4、Conv-3和Conv-1，2中的10层卷积层的权重参数，Conv-5卷积组的输出分别连接RMBB-1模块和MLA-1模块，Conv-4卷积组的输出分别连接RMBB-2模块和MLA-2模块，Conv-3卷积组的输出分别连接RMBB-3模块和MLA-3模块，将RMBB-1模块与MLA-1模块的输出进行相乘操作后进行双线性插值操作，将RMBB-2模块与MLA-2模块的输出进行相乘操作后与上采样结果相加并连接上采样操作和1×1卷积，将RMBB-3模块与MLA-3模块的输出进行相乘操作后与1×1卷积做加法运算后连接上采样操作和1×1卷积，1×1卷积后与Conv-1，2输出相加，将相加结果连接上采样操作和1×1卷积，完成密度估计模型的构建，密度估计模型中除了Conv-5、Conv-4、Conv-3和Conv-1，2的卷积层之外的其它网络参数采用随机初始化的方式进行参数初始化，MLA-1模块、MLA-2模块和MLA-3模块均为多重注意力模块；

(b-2)将训练样本中的目标图像输入到密度估计模型中，图像依次经过Conv-5、Conv-4、Conv-3和Conv-1，2卷积组提取目标初级特征，分别得到初级特征图f₄、f₃、f₂和f₁；

(b-3)初级特征图f₄经过RMBB-1模块得到细节增强特征图rf₄，将初级特征图f₄输入MLA-1模块，在空间维度上对初级特征图f₄分别进行最大值池化操作和均值池化操作，得到特征图和特征图将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和将和相加后经过sigmoid激活得到注意力权重F^c₁，将F^c₁与初级特征图f₄相乘得到经过通道维度注意力优化的特征图F′_c1，将特征图F′_c1在通道上分别求最大值和均值，得到F′_max1和F′_avg1，将F′_max1和F′_avg1在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重将空间注意力权重经过sigmoid激活之后与特征图F′_c1相乘，得到经过时空维度注意力优化的特征图AF′₄；

(b-4)将细节增强特征图rf₄与特征图AF′₄相乘得到特征图F′₄，对特征图F′₄进行双线性插值操作，得到与初级特征图f₃维度相同的特征图F₄^out；

(b-5)初级特征图f₃经过RMBB-2模块得到细节增强特征图rf₃，将初级特征图f₃输入MLA-2模块，在空间维度上对初级特征图f₃分别进行最大值池化操作和均值池化操作，得到特征图和特征图将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和将和相加后经过sigmoid激活之后得到注意力权重F^c₂，将F^c₂与初级特征图f₃相乘得到经过通道维度注意力优化的特征图F′_c2，将特征图F′_c2在通道上分别求最大值和均值，得到F′_max2和F′_avg2，将F′_max2和F′_avg2在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重将空间注意力权重经过sigmoid激活之后与特征图F′_c2相乘，得到经过时空维度注意力优化的特征图AF′₃；

(b-6)将细节增强特征图rf₃与特征图AF′₃相乘得到特征图F′₃，将特征图F′₃与特征图F₄^out相加，对相加结果进行上采样操作，使用卷积核大小为1×1的卷积进行通道维度上降维，使其维度从512维降到256维，得到输出特征图F₃^out；

(b-7)初级特征图f₂经过RMBB-3模块得到细节增强特征图rf₂，将初级特征图f₂输入MLA-3模块，在空间维度上对初级特征图f₂分别进行最大值池化操作和均值池化操作，得到特征图和特征图将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和将和相加后经过sigmoid激活之后得到注意力权重F^c₃，将F^c₃与初级特征图f₂相乘得到经过通道维度注意力优化的特征图F′_c3，将特征图F′_c3在通道上分别求最大值和均值，得到F′_max3和F′_avg3，将F′_max3和F′_avg3在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重将空间注意力权重经过sigmoid激活之后与特征图F′_c3相乘，得到经过时空维度注意力优化的特征图AF′₂；

(b-8)将细节增强特征图rf₂与特征图AF′₂相乘得到特征图F′₂，对特征图F′₂与特征图F₃^out相加，对相加结果进行上采样操作，使用卷积核大小为1×1的卷积进行通道维度上降维，使其维度从256维降到128维，得到输出特征图F₂^out；

(b-9)将初级特征图f₁与特征图F₂^out相加，得到特征图F₁′，对特征图F₁′进行上采样操作还原输入图像的分辨率，上采样后经过一层卷积，输出模型计算的密度似然图f；

(b-10)通过公式计算得到拓扑持久损失式中m_i为第i个显著点，S_i第i个显著点对应的鞍点，f(·)为密度似然图f中点的值，c为图像中标记目标物体的数量，M_c为c个显著点的集合，为密度似然图f中c个显著点以外的点的集合；

(b-11)通过公式计算得到多层次计算损失式中M∈{1，2，3，4}，N为模型训练时的批大小，F_j^gt为j尺度下输入图像的真值图，⊙为相乘操作，||·||₂为L2范数；

(b-12)通过公式计算不同尺度下多重注意力监督下的损失Q＝{4，3，2}，i∈{4，3，2}，A_i^gt为A^gt分别调整到与A_i^p相同尺寸时的值，t为注意力图的阈值参数，t的取值为1e-5，x_i为真值密度图F^gt中的一点，F^gt(·)为真值图中一点的值；

(b-13)通过公式计算模型损失式中λ_pres、λ₁及λ₂均为常数，利用模型损失对密度估计模型进行迭代优化，得到优化后的密度估计模型；

步骤(b-1)中的RMBB-1模块、RMBB-2模块和RMBB-3模块均由五个多分支模块以残差的方式连接而成，每个多分支模块后面使用ReLu激活函数激活，每个多分支模块由多尺寸小卷积核堆叠而成，每个多分支模块通过一层1×1的卷积层卷积，第一个多分支模块经过1×1的卷积层卷积后连接3×3空洞率为1的卷积层，第二个多分支模块经过1×1的卷积层卷积后依次连接1×3的卷积层和3×3空洞率为3的卷积层，第三个多分支模块经过1×1的卷积层卷积后依次连接1×3的卷积层、3×1的卷积层和3×3空洞率为3的卷积层，第四个多分支模块经过1×1的卷积层卷积后依次连接3×3的卷积层和3×3空洞率为5的卷积层，将第一多分支模块的结果、第二多分支模块的结果、第三多分支模块的结果和第四多分支模块的结果在通道维度拼接，拼接后使用11的卷积降维，将结果与第五多分支模块经过11的卷积层卷积后的结果相加，将相加结果经过ReLu激活输出。