[发明专利]一种基于深度光流跟踪的客流统计方法及系统

权利要求书

1.一种基于深度光流跟踪的客流统计方法，其特征在于：

包括以下步骤：

获取行人图像；

使用事先训练好的基于深度光流跟踪的客流统计模型进行客流统计，即对于任意给出的一幅行人图像，经过深度神经网络模型前向运算后，分别输出行人头部区域的中心位置、行人头部区域的半径以及行人头部区域的运动位移量；

根据当前帧中行人头部区域中心点位置和对应的运动位移量，进而获取当前帧行人头部区域相对于前帧的身份地址，更新跟踪列表完成当前帧中行人头部区域的跟踪过程；

基于获取的行人头部区域的跟踪列表，采用客流统计方法，完成客流统计；

所述基于深度光流跟踪的客流统计模型包括输入模块、主干模块、瓶颈模块、预测模块；

所述主干模块用来提取输入图像的多尺度深层语义融合特征；

所述瓶颈模块利用主干模块输出的多尺度深层语义特征和输入模块提供的行人头部区域位置图像，生成一幅具有全局信息、局部信息和空间位置信息的融合特征图；

所述预测模块基于瓶颈模块neck的输出特征图，预测当前帧图像中，行人头部区域的位置和相对于前帧图像的运行位移量；

所述主干模块的网络结构包括conv0层是一个核尺寸为7×7，跨度为2×2的卷积层；maxpool0层是一个核尺寸为2×2，跨度为2×2的最大值池化层；conv0层和maxpool0层共同组成了一个特征图分辨率快速下降网络，作用是在保留更多图像细节的同时，快速降低特征图分辨率，减少后续操作的运算量；

resblock0、resblock1、resblock2、resblock3均是resnet网络的resblock残差模块，其中，resconv2层是一个核尺寸为1x1,跨度为2x2的卷积层；resconv0层是一个核尺寸为3x3,跨度为2x2的卷积层；resconv1层、resconv3层、resconv4层均是一个核尺寸为3x3,跨度为1x1的卷积层；eltsum0层和eltsum1层均是特征图相加运算层，其作用是把多个输入特征图按对应元素相加合并成一个输出特征图；

所述瓶颈模块的网络结构包括，

C2、C3、C4、C5分别表示主干模块中resblock0、resblock1、resblock2、resblock3模块对应的输出特征图；行人头部位置图像指的是输入模块中之前某帧图像中行人头部区域位置图像；upsample层是上采样率为2的上采样层；downsample层是下采样率为4的下采样层；sum-P2、sum-P3、sum-P4均是特征图相加运算层，用于把两个输入特征图按对应元素相加合并成一个输出特征图；concat层是合并层，其作用是把多个输入特征图按通道维度并成一个输出特征图；conv-p4、conv-p3、conv-p2均是一个核尺寸为3x3跨度为1x1的卷积层，其作用是融合输出的拼接特征图或相加特征图和调整输入特征图尺寸；conv-p5层是一个核尺寸为1x1跨度为1x1的卷积层，其作用是调整输入特征图尺寸；

其中，C5层特征图作为conv-p5层的输入，conv-p5层的输出特征图作为upsample5层的输入，upsample5层的输出特征图和C4层特征图共同作为sum-P4层的输入，sum-P4层的输出特征图作为conv-p4层的输入，conv-p4层的输出特征图作为upsample4层的输入，upsample4层的输出特征图和C3层特征图共同作为sum-P3层的输入，sum-P3层的输出特征图作为conv-p3层的输入，conv-p3层的输出特征图作为upsample3层的输入，upsample3层的输出特征图和C2层特征图共同作为sum-P2层的输入；

行人头部位置图像作为downsample层的输入，downsample层的输出特征图和sum-P2层的输出特征图共同作为concat层的输入，concat层的输出特征图作为conv-p2层的输入，conv-p2层的输出特征图即是当前瓶颈模块的输出特征图。

2.根据权利要求1所述的基于深度光流跟踪的客流统计方法，其特征在于：所述输入模块的输入图像包括两幅3通道RGB图像和一幅灰度图像，其中，两幅3通道RGB图像分别表示当前帧图像和之前某帧图像，一幅灰度图像表示之前某帧图像中行人头部区域位置。