[发明专利]用于拥挤人群计数的自适应多尺度上下文聚合方法

说明书

本发明提供了一种用于拥挤人群计数的自适应多尺度上下文聚合方法，该方法包括：将样本图片输入到主干网络，提取大小为输入图像分辨率j倍的特征图；将提取的特征图以级联的形式输入到多个多尺度上下文聚合模块，提取并自适应聚合多尺度上下文信息，得到多尺度上下文特征；对生成的多尺度上下文特征进行卷积层处理，生成密度图；对所述密度图进行积分求和，得到预测人数。本发明有效地提取了多尺度信息，解决了人头大小不统一的问题，并通过通道注意力机制自适应选择和聚合有用的上下文信息，避免了信息的冗余，可以在拥挤场景下有更精确的密度估计，具有较高的鲁棒性。

技术领域

本发明涉及数据处理技术领域，具体地，涉及用于拥挤人群计数的自适应多尺度上下文聚合方法。

背景技术

人群计数是基于计算机视觉的人群分析的一项基本任务，旨在自动检测人群拥挤状况。

但是，在人群场景中，任务往往会遇到一些具有挑战性的因素，如严重的遮挡、尺度的变化、人群分布的多样性等，尤其是在非常拥挤的场景中，由于前景人群和背景对象在视觉上相似以及人头的尺度变化使得估计拥挤程度变得困难。

当前已有直接聚合不同尺度上下文特征的网络，但是并不是所有的特征都对最终的人群计数有用，直接聚合造成信息的冗余，会影响计数网络的性能。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种用于拥挤人群计数的自适应多尺度上下文聚合方法。

根据本发明提供的一种用于拥挤人群计数的自适应多尺度上下文聚合方法，包括：

步骤1：将样本图片输入到主干网络，提取大小为输入图像分辨率i倍的特征图；

步骤2：将提取的特征图以级联的形式输入到多个多尺度上下文聚合模块，提取并自适应聚合多尺度上下文信息，得到多尺度上下文特征；其中，每个多尺度上下文聚合模块的后面均设有一个上采样层，所述上采样层用于将多尺度上下文特征转为更高分辨率的特征图；

步骤3：对生成的多尺度上下文特征进行卷积层处理，生成密度图；

步骤4：计算生成的密度图与真值密度图之间的损失函数，对网络参数进行优化；

步骤5：对所述生成的密度图进行积分求和，得到预测人数。

可选地，所述步骤4包括：

根据有人头标注点的图片，通过高斯核卷积生成人群的真值密度图，所述密度图的计算公式如下：

其中，F_i(x)表示真值密度图，x_i表示有人头的像素点，G_σ表示高斯核，δ(·)表示狄拉克函数，σ是标准差，N代表图片的总人数，x表示图片的像素点。

可选地，所述步骤2包括：

多尺度上下文聚合模块自适应选择小尺度上下文特征，并将所述小尺度上下文特征与大尺度上下文特征进行聚合；所述多尺度上下文聚合模块包括多个空洞率不同的空洞卷积的分支；

采用来表示通过第i个尺度的空洞卷积提取的特征；其中，i表示卷积核的空洞率，表示分辨率是输入图像的分辨率的j倍，r表示指主干网络的缩减率，表示第i个尺度的空洞卷积提取的特征图，且所述特征图分辨率为原来的j倍；W×H表示图像的分辨率，C表示图像的通道数，R表示j倍分辨率的所有特征图的集合；

将空洞卷积提取的特征图输入到通道注意力模块中，所述通道注意力模块采用一个选择函数f自适应的选择中有用的上下文特征信息，并输出聚合了上下文信息的特征图Y^j∈R^jW×jH×C，其中Yj定义如下：