[发明专利]一种网页风险发现的方法

权利要求书

1.一种网页风险发现的方法，其特征在于，包括下列步骤：

S1、数据采集阶段，使用高效蔓延的基本原理，获取到网站大量的网页；

S2、数据流转阶段，使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转；

S3、风险识别阶段，针对采集到的数据进行分词，与风险规则库中数据进校对，将符合风险规则数据保存；

S4、数据存储阶段，针对采集的原始数据进行处理，然后对处理后的数据，根据数据类型、规模、用途按需存储；

S5、风险发现整体流程完成。

2.根据权利要求1所述的一种网页风险发现的方法，其特征在于，所述步骤S1数据采集阶段，使用高效蔓延的基本原理，获取到网站大量的网页具体步骤包括：

S11、使用高效蔓延的基本原理，利用网页之间的相互链接关系，不断的蔓延获取本域名下所有网页。

S12、网页采集器首先从网站首页出发，采集下来首页下的所有该网页；

S13、通过对获取到的网页进行分析，找出这些网页中所包含的链接；

S14、进一步对这些链接使用redis进行查重后，做了新的种子URL，

S15、重复步骤S11-S14，从而可以比较全面的获取到网站大量的网页。

3.根据权利要求1所述的一种网页风险发现的方法，其特征在于，所述步骤S2数据流转阶段，使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转具体步骤包括：

S21、通过API，实现公共调用的接口提供给使用者；

S22、使用者只需要通过编辑配置文件，就能启动任务开始交换数据；

S23、使用Confluent接入Kafka中数据，调用风险识别服务后，将数据存储至Elasticsearch中，完成整个数据流转。

4.根据权利要求1所述的一种网页风险发现的方法，其特征在于，所述步骤S4数据存储阶段，针对采集的原始数据进行处理，然后对处理后的数据，根据数据类型、规模、用途按需存储具体包括以下步骤：

S41、针对采集的原始数据，根据数据标准进行清洗和规范化；

S42、基于数据总线提供数据汇聚、缓存、转发功能的数据通道；

S43、实际需求实现多源异构数据的融合处理；

S44、然后对处理后的数据，根据数据类型、规模、用途按需存储。