[发明专利]一种对图像中的目标进行密度预测的方法、装置及介质

说明书

本发明公开了一种对图像中的目标进行密度预测的方法、装置及存储介质。该方法考虑了不同特征图通道之间的关系，采用三维的离散余弦变换(3D DCT)和三维的反离散余弦变换(3D IDCT)来构建频率特征金字塔，能够提取多尺度频率信息，且在特征提取过程中，不需要对特征图进行缩放，从而可以确保得到的特征图不会损失过多的细节信息；通过注意力机制进一步融合并增强频率多尺度特征，使得能够最终生成高质量的密度预测图；同时，设计的损失函数充分考虑了局部误差和全局误差的一致性，使得在预测过程中出现离群点的时候能够有比较好的鲁棒性。本发明广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种对图像中的目标进行密度预测的方法、装置及存储介质。

背景技术

对密集人群和车流的密度估计是智慧城市大部分相关应用中重要的技术之一，密度估计不但可以用来统计实际人数和通过的车辆数，并且可以展示出人群和车流的分布，这对于人群管理、安全防护、城市计划、消费者消费行为分析、市政交通规划等很多实际应用中起到非常重要的作用。比如在某些场景中，节假日著名旅游景点或集会事件的大量人群聚集可能会造成踩踏事故，这可能给人们带来极大的伤害；候车大厅中人群计数的结果可以优化公共交通的调度；某区域中人数的集聚变化既可能导致意外事件的发生，也可能是意外事件发生的结果；商场中不同时段人群计数结果可以分析消费者消费行为模式；分析某个路段上经常发生周期性的拥堵客户，可规划市政交通和优化调度等。

目前，对图像中的目标进行密度估计的方法主要是基于底层特征拟合回归的传统方法和基于深度学习的方法。基于底层特征拟合回归的传统方法，首先需要通过手动设计并提取各种特征，然后再基于这些特征训练一个线性或非线性函数来回归密度图，一般包括三个主要步骤：前景分割、特征提取和密度图估计。前景分割的目的是将人群或者车流从图像中分割出来以便于后面的特征提取，分割性能将直接影响最终的计数精度，因此这是限制传统算法性能的一个重要因素；而特征提取是从分割的前景中提取各种不同的底层特征，密度估计是将提取到的特征回归到图像中人群或者车流分布。在构建回归模型之前必须要对图像中的特征进行抽象和表达。特征表达通常关系到特征的提取、选择和底层视觉属性的转换，通过构建中间的输入到回归模型中去估计图像中人群或者车流的分布。但是这三个步骤相互之间是独立的，需要分开优化，步骤之间缺少联系，难以形成合力对整体进行优化。基于深度学习的方法，是从大数据中通过深度神经网络可以自动学习得到目标特征的高效表达，学习到的好的特征可以极大的提高系统性能。虽然当前基于深度学习的方法已经在密度估计任务中取得关键突破，但仍然存在着难以完全解决的关键问题：图像中目标特征容易受到许多外界不确定因素的干扰，如目标外观易受尺度、姿态和视角等影响，同一场景中的目标有多个不同的尺度，普遍存在的严重遮挡，密度图在局部上与实际分布不一致等问题。

发明内容

为解决上述至少一个问题，本发明的目的在于提供一种对图像中的目标进行密度预测的方法、装置及存储介质。

本发明所采取的技术方案是：本发明实施例包括一种对图像中的目标进行密度预测的方法，包括：

提取图像的浅层特征，得到第一特征图；

利用频率特征金字塔模型对所述第一特征图进行处理，得到多个不同尺度的第二特征图；

分别对所述多个不同尺度的第二特征图进行卷积处理，得到多个第三特征图；

将多个第三特征图进行融合得到第四特征图；

根据所述第四特征图，通过softmax函数生成权值矩阵；

通过注意力机制增强所述权值矩阵，以生成图像目标密度预测图。

进一步地，所述方法采用三维离散余弦变换和三维反离散余弦变换来构建所述频率特征金字塔模型。

进一步地，所述利用频率特征金字塔模型对所述第一特征图进行处理这一步骤，具体包括：