[发明专利]融合时序和空间信息的视频密集人群计数方法及系统

权利要求书

1.一种融合时序和空间信息的视频密集人群计数方法，其特征在于，包括：

获取包括密集行人的视频序列，确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列；

将所述密集人群密度图序列作为预测网络学习目标，采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束；所述预测网络采用引入3D卷积和分组卷积的预测网络；

将需预测的密集人群图像序列输入所述预测网络，输出预测的密度预测图；

对所述密度预测图所有像素值进行求和，得到最终的预测人数；

所述采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束，包括：

采用空间一致性损失函数,通过像素级的约束和生成式对抗损失来增强输出密度图的空间质量；

采用时序一致性损失函数，通过像素级别的平滑项损失、基于运动对称性的镜像损失和基于时序判别器的生成式对抗损失来增强输出密度图的时空质量；

采用协同学习策略，融合空间信息和时序信息使预测器与两个鉴别器之间对抗学习，分步对其进行优化学习；

所述预测网络采用基于2D卷积和3D卷积混合组成的VggNet-19架构，其中：

对于主干网络部分的前16层，采用权重共享的2D卷积进行特征提取，将得到的特征图在时序维度进行特征拼接，上述主干网络的输出经过一层上采样，进入解码部分；

对于解码网络部分，采用3D卷积结构，即先采用1×3×3的卷积核进行空间特征的提取，再利用3×1×1的卷积进行时序信息融合；

针对输出层，对上述特征图采用分组卷积，使每个时刻的特征图对应一张输出密度分布图，从而得到T张密度预测图。

2.根据权利要求1所述的融合时序和空间信息的视频密集人群计数方法，其特征在于，所述确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列，包括：

对于密集人群坐标数据，将每个坐标点对应像素与一个固定方差的高斯核相卷积，得到密集人群密度图序列。

3.一种融合时序和空间信息的视频密集人群计数系数，其特征在于，包括：

视频序列处理模块，该模块获取包括密集行人的视频序列，确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列；

预测网络学习模块，该模块将所述密集人群密度图序列作为预测网络学习目标，采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束；所述预测网络采用引入3D卷积和分组卷积的预测网络；

密度预测图获取模块，将需预测的密集人群图像序列输入所述预测网络学习模块得到的预测网络，输出预测的密度预测图；

计数预测模块，对所述密度预测图所有像素值进行求和，得到最终的预测人数；

所述预测网络学习模块，包括：

采用空间一致性损失函数，通过像素级的约束和生成式对抗损失来增强输出密度图的空间质量；

采用时序一致性损失函数，通过像素级别的平滑项损失、基于运动对称性的镜像损失和基于时序判别器的生成式对抗损失来增强输出密度图的时空质量；

采用协同学习策略，融合空间信息和时序信息和使预测器与两个鉴别器之间对抗学习，分步对其进行优化学习；

所述预测网络采用基于2D卷积和3D卷积混合组成的VggNet-19架构，其中：

对于主干网络部分的前16层，采用权重共享的2D卷积进行特征提取，将得到的特征图在时序维度进行特征拼接，上述主干网络的输出经过一层上采样，进入解码部分；

对于解码网络部分，采用3D卷积结构，即先采用1×3×3的卷积核进行空间特征的提取，再利用3×1×1的卷积进行时序信息融合；

针对输出层，对上述特征图采用分组卷积，使每个时刻的特征图对应一张输出密度分布图，从而得到T张密度预测图。

4.根据权利要求3所述的融合时序和空间信息的视频密集人群计数系统，其特征在于，所述视频序列处理模块，对于密集人群坐标数据，将每个坐标点对应像素与一个固定方差的高斯核相卷积，得到密集人群密度图序列。

5.一种视频密集人群计数终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-2任一所述的方法。

6.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-2任一项所述的方法。