[发明专利]一种基于人工智能的大数据采集存储系统及方法

说明书

本发明公开了大数据抓取技术领域的一种基于人工智能的大数据采集存储系统，该基于人工智能的大数据采集存储系统包括：抓取系统，通过所述抓取系统对全网的公开数据进行抓取；防火墙系统，所述防火墙的输入端链接到所述抓取系统的输出端上；临时存储系统，所述临时存储系统的输入端链接到所述防火墙系统的输出端上，经过所述防火墙系统的数据输入到所述临时存储系统内进行临时存储；存储系统，所述存储系统的输入端链接到所述临时存储系统的输出端上，本发明通过防火墙以及临时存储系统对抓取的数据进行过滤，隔离清查等方式对抓取的数据进行处理，减少了对无用数据的存储，并且提高了数据的安全性。

技术领域

本发明涉及大数据抓取技术领域，具体为一种基于人工智能的大数据采集存储系统及方法。

背景技术

大数据，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着信息化时代的到来，云计算技术、数字技术、互联网技术等获得了进一步的发展和应用，信息产业的竞争力也在不断的加剧，对大企业而言，大数据的兴起部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行多任务处理。其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据，还有就是把计算机聚合成服务器集群越来越简单，把那些具有潜在价值，可以给商业带来巨大利润。

网上的数据充斥着大量的无用数据以及不安全数据，在通过大数据平台对全网公开数据进行抓取过程中，极易将无用数据以及不安全数据抓取并存储，虽然现有的大数据平台均安装有防火墙对数据进行过滤隔离，但是，具有长期潜伏的不安全数据却没有多大的效果，严重影响了数据安全。

发明内容

本发明的目的在于提供一种基于人工智能的大数据采集存储系统及方法，以解决上述背景技术中提出的网上的数据充斥着大量的无用数据以及不安全数据，在通过大数据平台对全网公开数据进行抓取过程中，极易将无用数据以及不安全数据抓取并存储，虽然现有的大数据平台均安装有防火墙对数据进行过滤隔离，但是，具有长期潜伏的不安全数据却没有多大的效果，严重影响了数据安全的问题。

为实现上述目的，本发明提供如下技术方案：一种基于人工智能的大数据采集存储系统，该基于人工智能的大数据采集存储系统包括：

抓取系统，通过所述抓取系统对全网的公开数据进行抓取；

防火墙系统，所述防火墙的输入端链接到所述抓取系统的输出端上，通过所述抓取系统将抓取的公开数据输入到所述防火墙上；

临时存储系统，所述临时存储系统的输入端链接到所述防火墙系统的输出端上，经过所述防火墙系统的数据输入到所述临时存储系统内进行临时存储；

存储系统，所述存储系统的输入端链接到所述临时存储系统的输出端上，经过所述临时存储的数据输入到所述存储系统内进行存储。

优选的，所述防火墙系统为市面上常见的防火墙系统。

优选的，所述临时存储系统的存储时间为1-2周。

优选的，所述存储系统为分布式存储系统。

一种基于人工智能的大数据采集存储系统的使用方法，该基于人工智能的大数据采集存储系统的使用方法包括如下步骤：

S1：通过所述抓取系统对全网的公开数据进行抓取；

S2：是防火墙系统设置在所述抓取系统的输出端，通过所述防火墙系统对抓取的数据进行过滤处理，筛除不安全数据和无用数据；

S3：经过所述防火墙筛除的数据进入到所述临时存储系统内，数据在所述临时存储系统内进行临时存储，进行隔离观察，对突破所述防火墙的不安全系统以及无用系统进行清查；