[发明专利]一种对图像中的目标进行密度预测的方法、装置及介质

权利要求书

1.一种对图像中的目标进行密度预测的方法，其特征在于，包括：

提取图像的浅层特征，得到第一特征图；

利用频率特征金字塔模型对所述第一特征图进行处理，得到多个不同尺度的第二特征图；

分别对所述多个不同尺度的第二特征图进行卷积处理，得到多个第三特征图；

将多个第三特征图进行融合得到第四特征图；

根据所述第四特征图，通过softmax函数生成权值矩阵；

通过注意力机制增强所述权值矩阵，以生成图像目标密度预测图；

所述频率特征金字塔模型是通过三维离散余弦变换和三维反离散余弦变换来构建的；

所述三维离散余弦变换和三维反离散余弦变换是在第一特征图的列和行两个方向上进行的变换之后，在第一特征图的通道维度上的继续变换；其中三维离散余弦变换和三维反离散余弦变换的公式如下：

(三维离散余弦变换)；

(三维反离散余弦变换)；

其中，

式中，N代表第一特征图的列数目，M代表第一特征图的行数目，L代表第一特征图的通道数目，f(x,y,z)是在第z个通道第y行第x列的特征点,F(u,v,w)是对应的离散余弦变换后的频率特征,c(u)、c(v)和c(w)是对应的补偿系数。

2.根据权利要求1所述的一种对图像中的目标进行密度预测的方法，其特征在于，所述利用频率特征金字塔模型对所述第一特征图进行处理这一步骤，具体包括：

通过三维的离散余弦变换将所述第一特征图从空域转换到频域；

提取频域中多个不同频率的图像；

通过三维的反离散余弦变换将多个不同频率的图像转换成多个不同尺度的第二特征图。

3.根据权利要求1所述的一种对图像中的目标进行密度预测的方法，其特征在于，所述注意力机制增强所述权值矩阵是通过以下公式执行的：

F_i,c(x)＝(1+H_i,c(x)×G_i,c(x))，

式中，G(x)是所述频率特征金字塔模型的输入，H(x)是通过softmax函数生成的权值矩阵，其范围是[0，1]，F(x)是经过多尺度信息增强之后的特征，i是第i个特征图通道，c表示特征图上位置c这个点。

4.根据权利要求3所述的一种对图像中的目标进行密度预测的方法，其特征在于，还包括对所述频率特征金字塔模型进行训练，包括：

构建训练集，所述训练集由不同的特征图构成；

将训练集输入频率特征金字塔模型中，对图像目标密度进行预测；

用损失函数计算预测值与真实值之间的差值；

最小化损失函数。

5.根据权利要求4所述的一种对图像中的目标进行密度预测的方法，其特征在于，所述损失函数为：

式中，Y是实际的密度图，X是输入的图像，θ是频率特征金字塔模型的参数，F(X，θ)代表频率特征金字塔模型，GMS(i)指的是在点i上预测图和实际图的梯度幅值相似度，N是输入图像的总像素数目。

6.根据权利要求5所述的一种对图像中的目标进行密度预测的方法，其特征在于，所述梯度幅值相似度是通过以下公式执行的：

其中，

式中，c是一个正常数，Y^p是预测的密度图，Y是实际的密度图，是预测的密度图在点i上的梯度幅值，m_Y(i)是实际的密度图在点i上的梯度幅值，GMS(i)是预测的密度图和实际的密度图在点i上的梯度幅值相似度，指的是卷积操作，h_x指的是在水平方向上的Prewitt算子，h_y指的是竖直方向上的Prewitt算子。

7.一种对图像中的目标进行密度预测的装置，其特征在于，包括处理器和存储器，其中，所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1～6任一项所示的对图像中的目标进行密度预测的方法。

8.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1～6任一项所示的对图像中的目标进行密度预测的方法。