[发明专利]基于终端上网行为数据的WEB应用自动发现方法和系统

权利要求书

1.一种基于终端上网行为数据的WEB应用自动发现方法，其特征在于，包括：

步骤(1)终端数据采集模块采集终端符合指定规则或域名的应用网站的上网行为数据；

步骤(2)数据清洗上报模块将采集的所述应用网站的上网行为数据进行清洗，并将清洗后的上网行为数据上报；

步骤(3)数据接收入库模块接收所述清洗后的上网行为数据；

步骤(4)应用发现模块自动聚类比对发现新应用；

步骤(1)中，所述终端数据采集模块采集终端符合指定规则或域名的应用网站的上网行为数据；

所述清洗包括保留URL到三级域名的数据，和/或，

将明显不能代表一个正常应用网站的URL数据清洗掉；

对于发现的所述新应用，域名有效性探测模块自动探测新发现应用网站的有效性并进行标记，或者，自动清理无效域名；

WEB展示模块展示新发现的应用网站并支持应用信息备案管理。

2.根据权利要求1所述的方法，其特征在于，步骤(3)中，所述数据接收入库模块将接收的所述清洗后的上网行为数据按日期索引存储在搜索服务器上。

3.根据权利要求2所述的方法，其特征在于，所述上报数据采取压缩数据进行上报。

4.根据权利要求2所述的方法，其特征在于，所述搜索服务器为Elasticsearch。

5.根据权利要求1所述的方法，其特征在于，所述应用发现模块定时地对所述清洗后的上网行为数据进行聚类统计，将发现的新的应用网站域名存储至数据库。

6.一种基于终端上网行为数据的WEB应用自动发现系统，其特征在于，包括依次顺序连接的终端数据采集模块、数据清洗上报模块、数据接收入库模块、应用发现模块，其中，

所述终端数据采集模块用于采集终端符合指定规则或域名的应用网站的上网行为数据；

所述数据清洗上报模块用于将采集的所述应用网站的上网行为数据进行清洗，并将清洗后的上网行为数据上报；

所述数据接收入库模块用于接收所述清洗后的上网行为数据；

所述应用发现模块用于自动聚类比对发现新应用；

所述清洗包括保留URL到三级域名的数据，和/或，

将明显不能代表一个正常应用网站的URL数据清洗掉；

还包括域名有效性探测模块和WEB展示模块，其中，

所述域名有效性探测模块用于自动探测新发现应用网站的有效性并进行标记，或者，自动清理无效域名；

所述WEB展示模块用于展示新发现的应用网站并支持应用信息备案管理。