[发明专利]一种基于spark集群的智能视频识别方法

说明书

本发明公开了一种基于spark集群的智能视频识别方法，包含以下步骤：A、使用kafka创建视频收集模块，kafka中的每一个topic存放一个摄像头的数据；视频收集模块与一个网络摄像机集群协同工作，网络摄像机用于提供实时视频流数据，视频收集模块将数据传输给视频流处理模块。本发明结合当前在计算机视觉领域取得较好效果的深度学习网络，并且结合spark集群实现大规模的分布式计算，将多个摄像头的图片进行分析，并综合分析所有摄像头的分析结果，本发明利用RDD的分区特性，通过将摄像头的分析算法运行于各个分区的中，实现多个摄像头的高并发分布式计算，使得集群的消费能力大大提高。

技术领域

本发明涉及视频流技术领域，具体是一种基于spark集群的智能视频识别方法。

背景技术

随着社会的发展，视频监控在维护社会稳定、保障公共安全方面起着越来越重要的作用。目前，全国各地主要的公共场所都已经按照了大量监控摄像头，用以监控异动发生。而全国性的“安全城市”计划旨在建立一个大摄像头网络，覆盖全国各大城市和地区，以保障市民的公共安全。

目前随着深度学习的发展，其在图像识别，计算机视觉领域取得了许多重大突破。例如行人检测，行人追踪，行人行为分析等等一系列基于深度学习的视频算法。深度学习的主要贡献在于改变了我们处理计算机视觉问题的传统思想。

行人检测主要解决的是识别出物体在图片的位置信息和其所属类别。传统的目标检测是先在图像中选择候选区域，然后对这些区域提取特征，最后输入到分类器中进行分类。然而基于滑动窗口的区域选择策略没有针对性，窗口冗余，导致计算量大。基于候选区域的深度学习目标检测法大大地降低了计算量，并且取得了更高质量的候选窗口。

行人追踪技术需要实现的是在一段时间内对同一个物体在复杂背景下，如光照变化，运动模糊，物体遮挡，背景相似干扰，物体尺度变化等，进行精准实时的跟踪。因此，行人追踪在安防，监控等领域作为一种核心的技术。

发明内容

本发明的目的在于提供一种基于spark集群的智能视频识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于spark集群的智能视频识别方法，包含以下步骤：

A、使用kafka创建视频收集模块，kafka中的每一个topic存放一个摄像头的数据；视频收集模块与一个网络摄像机集群协同工作，网络摄像机用于提供实时视频流数据，视频收集模块将数据传输给视频流处理模块，

B、视频流处理模块利用spark的RDD数据创建多个分区，每个分区部署一个摄像头的分析算法模型，在每个分区上运行MTCNN神经网络，进行行人检测与分析，并将各个分区的计算结果汇总到“分析结果汇总模块”；

C、分析结果汇总模块将各个摄像头的分析结果存储、汇总在这一个行人追踪模块中，

D、行人追踪模块结合多个摄像头的历史数据，使用行人特征相似度判断行人的“同一性”，并根据“同一性”最终分析得出行人的行走轨迹。

作为本发明的进一步技术方案：所述步骤A中，使用kafka作为视频流数据收集器。

作为本发明的进一步技术方案：所述步骤B中，使用spark集群的每个分区并行运行神经网络模型算法。

作为本发明的进一步技术方案：所述步骤D中使用行人特征相似度判断行人的“同一性”。

作为本发明的进一步技术方案：所述行人追踪模块基于kafka创建，kafka中的每一个topic对应一个摄像头的分析结果数据。