[发明专利]一种网页风险发现的方法

说明书

本发明公开了一种网页风险发现的方法，包括下列步骤：S1、数据采集阶段，使用高效蔓延的基本原理，获取到网站大量的网页；S2、数据流转阶段，使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转；S3、风险识别阶段，针对采集到的数据进行分词，与风险规则库中数据进校对，将符合风险规则数据保存；S4、数据存储阶段，针对采集的原始数据进行处理，然后对处理后的数据，根据数据类型、规模、用途按需存储；S5、风险发现整体流程完成。有益效果：在海量网页数据中能够快速的定位风险网站。

技术领域

本发明涉及数据风险识别领域，具体来说，涉及一种网页风险发现的方法。

背景技术

在实际业务中，采集各通道数据临时存储至消息队列，数据流转平台会接收消息队列实时数据，调用风险识别服务，并将结果集合放入全文检索库。

通常情况下，信息是通过新闻、微信、微博等多种渠道发布的，那么如何快速、高效的过滤出风险信息，这是用户业务场景通常更关注的。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种网页风险发现的方法，旨在快速准确的进行风险发现,以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种网页风险发现的方法，包括下列步骤：

S1、数据采集阶段，使用高效蔓延的基本原理，获取到网站大量的网页；

S2、数据流转阶段，使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转；

S3、风险识别阶段，针对采集到的数据进行分词，与风险规则库中数据进校对，将符合风险规则数据保存；

S4、数据存储阶段，针对采集的原始数据进行处理，然后对处理后的数据，根据数据类型、规模、用途按需存储；

S5、风险发现整体流程完成。

进一步的，所述步骤S1数据采集阶段，使用高效蔓延的基本原理，获取到网站大量的网页具体步骤包括：

S11、使用高效蔓延的基本原理，利用网页之间的相互链接关系，不断的蔓延获取本域名下所有网页。

S12、网页采集器首先从网站首页出发，采集下来首页下的所有该网页；

S13、通过对获取到的网页进行分析，找出这些网页中所包含的链接；

S14、进一步对这些链接使用redis进行查重后，做了新的种子URL，S15、重复步骤S11-S14，从而可以比较全面的获取到网站大量的网页。

进一步的，所述步骤S2数据流转阶段，使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转具体步骤包括：

S21、通过API，实现公共调用的接口提供给使用者；

S22、使用者只需要通过编辑配置文件，就能启动任务开始交换数据；

S23、使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转。

进一步的，所述步骤S4数据存储阶段，针对采集的原始数据进行处理，然后对处理后的数据，根据数据类型、规模、用途按需存储具体包括以下步骤：

S41、针对采集的原始数据，根据数据标准进行清洗和规范化；