[发明专利]一种基于Spark流式处理的人脸实时抓拍反馈系统

说明书

本发明提供一种基于Spark流式处理的人脸实时抓拍反馈系统，包括外部资源，Flume分布式数据收集系统，SparkStreaming，HDFS，可视化模块和Mysql数据库，本发明Flume分布式数据收集系统的设置，分布式平台便于扩展和缩减，系统大小可根据组织规模大小而调整，可以更有效的利用资源；离线挖掘模块的设置，分析反馈机制为使用人员提供详细的告警分析报告，易于对异常情况了解和处理；SparkStreaming的设置，利用数据挖掘和机器学习对海量图像数据进行关联性分析，发现规律并及时更新调整，增强系统的健壮性。

技术领域

本发明属于人脸实时抓拍反馈技术领域，尤其涉及一种基于Spark流式处理的人脸实时抓拍反馈系统。

背景技术

人脸识别技术和大数据技术发展日益成熟，人脸识别业务的应用场景的不断丰富，主要表现在:1、人脸识别更多的应用于大型企业、医院等人流量巨大的场景；2、人脸识别的干扰因素复杂并且难以全面的掌控，规则库能否及时更新对人脸识别系统效果有较大影响；3、传统的人脸识别技术已经不满足业务增长的需求，新的技术方向是大场景下无感的实时抓拍；4、大数据处理技术日益成熟，为人工智能领域海量数据的实时处理提供了技术支撑。因此，如何在大场景下实现快速，无感，准确的实时人脸抓拍信息反馈是本领域亟需解决的技术问题。

综上所述，本发明的目的在于，针对传统人脸识别技术的局限性，整合人脸抓拍识别和Spark流式处理技术，提出了一种基于Spark流式处理的人脸实时抓拍反馈系统。

发明内容

为了解决上述技术问题，本发明提供一种基于Spark流式处理的人脸实时抓拍反馈系统，以解决如何在大场景下实现快速，无感，准确的实时人脸抓拍信息反馈是本领域亟需解决的技术问题。一种基于Spark流式处理的人脸实时抓拍反馈系统，包括外部资源，Flume分布式数据收集系统，SparkStreaming，HDFS，可视化模块和Mysql数据库，所述外部资源包括高清抓拍相机，人脸识别服务器，应用程序服务器，交换机和安全设备；所述高清抓拍相机将采集到的照片传输至人脸识别服务器，应用程序服务器通过事先拟定好的协议把程序逻辑曝露给交换机，交换机将数据传输至Flume分布式数据收集系统。

所述SparkStreaming包括人脸分析模块和离线挖掘模块；所述人脸分析模块对人脸图片数据进行预处理，并根据图像分析规则对与预处理后的人脸数据分析；所述离线挖掘模块对在HDFS中离线存储的人脸图片数据进行分析并与规则库关联产生新的规则。

所述人脸分析模块利用OpenCV对采集到的人脸图像进行灰度化、归一化、向量化处理等预处理，并根据规则对预处理得到的人脸数据进行分析得到告警信息，同时将预处理后的人脸数据存储HDFS，将告警信息存入Mysql数据库。

所述Flume分布式数据收集系统与SparkStreaming实现人脸数据采集和实时传递。

所述Mysql数据库的规则包括：

一、根据单设备人像图片的部分内容，以内容作为告警信息：例如检测到职业医闹人像，则进行告警提示；

二、根据单位时间内特殊事件出现的频率，以特殊事件为告警信息：例如检测到在医院挂号处每天都出现的挂号人员人像，有可能为职业黄牛，则进行告警提示；

三、多设备人像图片间的关联分析，以分析结果为告警信息：例如检测到在医院多个不相关区域都出现的人像，则有可能为迷路患者，则进行告警提示。

该基于Spark流式处理的人脸实时抓拍反馈系统包括以下处理流程：