[发明专利]一种摊位检测与场景分割结合的游商检测方法及其系统

权利要求书

1.一种摊位检测与场景分割结合的游商检测方法，其特征在于，包括：

获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；

获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；

获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；

逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果；

基于同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间、基于单位时间内的所述视频压缩码流中出现的所述目标检测框的种类数量和基于不同类的所述目标检测框在单位时间内的所述视频压缩码流中出现的位置，生成重点检测区域，其中，计算同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间，包括：若所述目标检测框仅在单位时间内的所述视频压缩码流的连续图像帧中存在，则基于所述连续图像帧的帧数和摄像单元的采集频率生成所述出现时间；若所述目标检测框在单位时间内的所述视频压缩码流的连续图像帧中存在且在单位时间内的所述视频压缩码流的非连续图像帧中存在，则计算所述目标检测框在单位时间内的所述视频压缩码流中的消失帧数，并基于所述消失帧数和摄像单元的采集频率生成间隔时间，若所述间隔时间小于时间阈值，则基于所述目标检测框在单位时间内的所述视频压缩码流中首次出现的图像帧和所述目标检测框在单位时间内的所述视频压缩码流中最后出现的图像帧生成持续帧数，并基于所述持续帧数和摄像单元的采集频率生成所述出现时间。

2.根据权利要求1所述的游商检测方法，其特征在于，训练所述语义分割模型，包括：

构建所述语义分割模型；

获取包含人工标记行人的图像样本构成的训练数据集和测试数据集；

基于所述训练数据集和所述测试数据集训练并测试所述语义分割模型。

3.根据权利要求1所述的游商检测方法，其特征在于，构建的所述语义分割模型包括特征图提取层、池化金字塔和上采样降维结构。

4.一种摊位检测与场景分割结合的游商检测系统，其特征在于，包括：

摄像单元，用于采集视频压缩码流；数据处理单元，用于获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果；基于同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间、基于单位时间内的所述视频压缩码流中出现的所述目标检测框的种类数量和基于不同类的所述目标检测框在单位时间内的所述视频压缩码流中出现的位置，生成重点检测区域，其中，计算同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间，包括：若所述目标检测框仅在单位时间内的所述视频压缩码流的连续图像帧中存在，则基于所述连续图像帧的帧数和摄像单元的采集频率生成所述出现时间；若所述目标检测框在单位时间内的所述视频压缩码流的连续图像帧中存在且在单位时间内的所述视频压缩码流的非连续图像帧中存在，则计算所述目标检测框在单位时间内的所述视频压缩码流中的消失帧数，并基于所述消失帧数和摄像单元的采集频率生成间隔时间，若所述间隔时间小于时间阈值，则基于所述目标检测框在单位时间内的所述视频压缩码流中首次出现的图像帧和所述目标检测框在单位时间内的所述视频压缩码流中最后出现的图像帧生成持续帧数，并基于所述持续帧数和摄像单元的采集频率生成所述出现时间。

5.根据权利要求4所述的游商检测系统，其特征在于，所述摄像单元被配置为在采集视频压缩码流时，检测区域不固定。

6.根据权利要求4所述的游商检测系统，其特征在于，所述数据处理单元还包括缓存模块，用于存储所述视频压缩码流、所述目标检测框和所述游商摊位检测结果。