[发明专利]融合时序和空间信息的视频密集人群计数方法及系统

说明书

本发明公开一种融合时序和空间信息的视频密集人群计数方法及系统，该方法包括：获取包括密集行人的视频序列，确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列；将所述密集人群密度图序列作为预测网络学习目标，采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束；所述预测网络采用引入3D卷积和分组卷积的预测网络；将需预测的密集人群图像序列输入所述预测网络，输出预测的密度预测图；对所述密度预测图所有像素值进行求和，得到最终的预测人数。本发明较大程度提升了精度，具有良好的鲁棒性，具有较强的应用价值。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种融合时序和空间信息的视频密集人群计数方法、系统。

背景技术

随着世界人口的快速增长和迅猛的城市化建设，人群集聚场景显著增加，如高峰时段的车站和地铁站，节假日的热门景区，大型表演和群众活动场地等，如果不加预警和及时疏导，容易引发各类严重事故，甚至造成严重伤亡。

但是现有的针对视频的人群计数方法主要以基于光流法和循环神经网络为主，但是密集人群场景下被遮挡行人的光流无法被提取，影响了算法的性能，而循环神经网络具有计算量大、不利于实际场景应用的问题。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种融合时序和空间信息的视频密集人群计数方法、系统，提升性能，实现在各场景下自适应解决人群计数。

本发明的第一方面，提供一种融合时序和空间信息的视频密集人群计数方法，包括：

获取包括密集行人的视频序列，确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列；

将所述密集人群密度图序列作为预测网络学习目标，采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束；所述预测网络采用引入3D卷积和分组卷积的预测网络；

将需预测的密集人群图像序列输入所述预测网络，输出预测的密度预测图；

对所述密度预测图所有像素值进行求和，得到最终的预测人数。

可选地，所述确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列，包括：

对于密集人群坐标数据，将每个坐标点对应像素与一个固定方差的高斯核相卷积，得到密集人群密度图序列。

可选地，所述采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束，包括：

采用空间一致性损失函数,通过像素级的约束和生成式对抗损失来增强输出密度图的空间质量；

采用时序一致性损失函数，通过像素级别的平滑项损失、基于运动对称性的镜像损失和基于时序判别器的生成式对抗损失来增强输出密度图的时空质量；

采用协同学习策略，融合空间信息和时序信息和使预测器与两个鉴别器之间对抗学习，分步对其进行优化学习。

本发明的第二方面，提供一种融合时序和空间信息的视频密集人群计数系数，包括：

视频序列处理模块，该模块获取包括密集行人的视频序列，确定所述视频序列中密集人群坐标数据，并转化为密集人群密度图序列；

预测网络学习模块，该模块将所述密集人群密度图序列作为预测网络学习目标，采用空间一致性损失函数和时序一致性损失函数，对生成目标进行约束；

密度预测图获取模块，将需预测的密集人群图像序列输入所述预测网络学习模块得到的预测网络，输出预测的密度预测图；

计数预测模块，对所述密度预测图所有像素值进行求和，得到最终的预测人数。