[发明专利]一种基于大数据环境下的视图像快速识别方法

说明书

本发明涉及一种基于大数据环境下的视图像快速识别方法，步骤如下：S1.第三方业务系统向Mina服务器发送识别请求指令并进行关联存储；S2.Mina服务器将第三方业务系统发送的识别请求信令发送到系统业务逻辑处理模块进行转化；S3.系统业务逻辑处理模块解析出识别文件的路径发给分布式识别子系统识别；S4.为入库指令时则发给分布式识别子系统进行入库；S5.将识别结果反馈到系统业务逻辑处理模块；S6.将有效识别结果上传至分布式存储系统进行存储，将文件存储路径和识别结果返给对应第三方业务系统。本发明的下载子系统和视图像识别子系统均采用分布式部署策略，利用Redis进行消息分发，并利用黑白名单库大幅降低硬件运算资源，同时构建了通用性的异步接口方式。

技术领域

本发明涉及图像识别技术领域，特别是一种基于大数据环境下的视图像快速识别方法。

背景技术

当前，随着新媒体产业的而不断发展，以图片、视频为载体的信息的在社会交流中逐步占据了重要的位置，而传统的信息识别手段主要是以文字为主，一般是通过关键词的模糊查询来实现对信息的分类和过滤，而这种传统技术手段将越来越难以适应当前形势的发展。而随着视图像识别技术的逐渐成熟，如基于特征值和特征向量视图像指纹识别技术和基于人工智能的深度学习视图像识别技术的蓬勃发展，为解决视图像信息的分类与过滤提供了有效手段，然而如何将这些先进的技术进行工程化整合并运用在实际的信息识别过程中成为技术转化的重要的问题之一，由于视图像识别相比于文字识别需要耗费更多的运算资源且速度相对较慢，因此一个能够通过简单的硬件堆叠来实现系统性能的扩展并尽量减少运算资源的视图像识别系统是解决这一问题的重要途径。

发明内容

本发明的目的在于克服现有技术的缺点，提供一种基于大数据环境下的视图像快速识别方法。

本发明的目的通过以下技术方案来实现：

一种基于大数据环境下的视图像快速识别方法，该方法的步骤如下：

S1.第三方业务系统向Mina服务器发送识别请求指令，对该指令与该MINA服务器进行关联存储；

S2. Mina服务器将第三方业务系统发送的识别请求信令发送到系统业务逻辑处理模块，并转化为内部业务的识别指令和入库指令；

S3.当为识别指令时，系统业务逻辑处理模块解析出识别文件的路径并对其进行判断是否需要进行下载，若需下载则将该路径封装成下载指令分发给分布式下载子系统进行处理，否则将文件路径及其关联信息封装成识别指令分发给分布式识别子系统进行识别；

S4. 当为入库指令时则直接分发给分布式识别子系统进行入库；

S5. 分布式识别子系统识别完成后，将识别结果反馈到系统业务逻辑处理模块；

S6. 系统业务处理模块在接收到识别结果信息后，将有效的识别结果信息上传至分布式存储系统进行存储，并将文件的存储路径和识别结果返回给对应的第三方业务系统。

进一步地，所述的步骤S3包括以下子步骤：

S301. 分布式下载子系统从Redis中获取到下载指令后，对指令中的下载路径进行解析，对下载路径的协议进行区分为FTP和HTTP，并基于协议调用不同的下载方案；

S302. 当使用HTTP协议下载视频时，根据HTTP协议规范对下载路径的有效性进行判断，当判定为无效时，则尝试使用JS和AJAX解析核心解析视频的真实地址，再通过标准HTTP下载协议进行下载。若是图片资源，则直接进行下载；

S303. 当使用FTP下载时，则直接使用FTP协议进行下载；

S304. 下载功能集群从统一的IP代理池中获取有效的IP代理信息，并按时间进行替换；

S305. 下载的资源文件将保存至系统共享目录供业务逻辑处理模块及分布式识别子系统访问。