[发明专利]适用于大数据分析互联网数据抓取方法

说明书

本发明公开了适用于大数据分析互联网数据抓取方法，包括以下步骤：S1，数据获取终端产生应用数据，数据获取终端将各种应用软件平台使用后和预览网站后产生的数据传送到对应厂商的服务器和云端数据库内，或者是保存在第三方云端数据库内；S2，服务器和云端数据库内保存的应用数据会进行甄别分析，数据甄别分析会将数据与通用信息库内储存的信息进行对比，作为第一步程序筛选；S3，机选后产生三种判断结果，第一种是与通用信息库数据对比后无疑义的信息会直接通过平台和网站反馈给客户。本发明将储存的数据进行程序筛选和人工筛选，由此提高了数据的价值性，减低假冒诈骗的信息的流传，从而有利于产业的健康发展。

技术领域

本发明涉及互联网大数据技术领域，尤其涉及适用于大数据分析互联网数据抓取方法。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术有三个层次，一是用于数据管理的底层技术。第二个层次就是人工智能技术。互联网大数据当前发展的三大趋势，第一个趋势是“个性化”；第二个趋势是“智能化”；第三个趋势是“产业化”。

现有的互联网大数据在抓取时，其数据的由来一般是互联网+物联网的结合，所以其产生的大数据是及其复杂的，而且很多大数据是无用的。然而现有的互联网大数据在抓取时主要是为了更好的为产业服务，向客户推荐更准确的产品，然而在海量的无用以及干扰数据的影响下，会严重影响大数据的正确推送和安全抓取，从而不利于产业的健康发展，因此当前正是缺少这种安全而高效的大数据抓取方法来解决此类问题，为此我们提出了适用于大数据分析互联网数据抓取方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的适用于大数据分析互联网数据抓取方法。

为了实现上述目的，本发明采用了如下技术方案：

适用于大数据分析互联网数据抓取方法，包括以下步骤：

S1，数据获取终端产生应用数据，数据获取终端将各种应用软件平台使用后和预览网站后产生的数据传送到对应厂商的服务器和云端数据库内，或者是保存在第三方云端数据库内；

S2，服务器和云端数据库内保存的应用数据会进行甄别分析，数据甄别分析会将数据与通用信息库内储存的信息进行对比，作为第一步程序筛选；

S3，机选后产生三种判断结果，第一种是与通用信息库数据对比后无疑义的信息会直接通过平台和网站反馈给客户，第二种就是存在疑义的信息则进入下一步人工筛选，第三种则是明显不符合相关法规和标准的信息，则对其发出相应的警告或直接报警。

优选的，所述数据获取终端包括物联网终端、计算机终端和手持终端，物联网终端在使用时主要产生位置信息、状态信息和设备信息，计算机终端在使用时主要产生软件平台信息和IP地址信息，而手持终端在使用时则主要产生软件平台信息、位置信息、状态信息和IP 地址信息。

优选的，所述通用信息库包括假冒诈骗信息库、危害言论信息库和违禁图像信息库，所述通用信息库采用计算机联网，对世面上出现的信息进行及时更新添加。

优选的，所述程序筛选包括关键字检索和敏感图像检索两大类。

优选的，所述数据获取终端采用页面解析器、爬行策略搜索技术、主体爬虫技术、链接相关度估算技术、内容相关度计算技术、动态 Web页面获取技术、动态页面的分类技术、微博信息内容获取技术和 DeepWeb数据获取技术进行数据分析检索。

优选的，所述数据获取终端具有明确的区分，对数据的来源进行分类，确定目标数据和根源数据，其中目标数据来源个体客户，而根源数据则来源于企业客户，在数据反馈时，将个体客户的数据反馈给企业客户。