[发明专利]基于终端上网行为数据的WEB应用自动发现方法和系统

说明书

本发明涉及一种基于终端上网行为数据的WEB应用自动发现方法及系统，方法包括终端数据采集模块采集终端通过浏览器访问应用网站的上网行为数据；数据清洗上报模块进行清洗并上报；数据接收入库模块接收；应用发现模块自动聚类比对发现新应用。该系统包括依次顺序连接的终端数据采集模块、数据清洗上报模块、数据接收入库模块、应用发现模块。本发明所提供的基于终端上网行为数据的WEB应用自动发现方法及系统，通过终端数据采集发现新的应用网站。可以据此建立统一的WEB应用资源库，进而可实现对于WEB应用资源的统一管理，解决现有的过多私自搭建应用网站而引起的管理难，以及安全隐患。

技术领域

本发明涉及大数据安全技术领域，并且更具体地，涉及到一种基于终端上网行为数据的WEB应用自动发现方法。

背景技术

目前有一些大单位或企业，会分多级部门进行管理，各级单位或分公司有自己建设WEB应用系统的权利，而随着WEB应用系统越建越多，作为上级部门，对这些WEB应用资源的管理也越来越困难，经常出现各个单位自己都不清楚自己到底建设了多少个WEB应用系统，另外，私自搭建一些应用系统或服务器也会对网内信息安全造成一定威胁。

目前并没有非常好的解决手段去解决这个问题，仅仅采取行政措施去要求各部门进行报备，但是实际情况是经常存在报备不及时，或者报备遗漏很多，甚至故意隐瞒不报备。

基于此，寻求一种可以有效消除私搭私建网站应用带来的安全问题的技术方案，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明针对上述问题，目的在于提供一种基于终端上网行为数据的WEB应用自动发现方法和系统。

为达到上述目的，本发明采用如下技术方案：

一方面，本发明实施例公开了一种基于终端上网行为数据的WEB应用自动发现方法，其包括：

步骤(1)终端数据采集模块采集终端通过浏览器访问应用网站的上网行为数据；

步骤(2)数据清洗上报模块将采集的所述应用网站的上网行为数据进行清洗，并将清洗后的上网行为数据上报；

步骤(3)数据接收入库模块接收所述清洗后的上网行为数据；

步骤(4)应用发现模块自动聚类比对发现新应用。

进一步地，步骤(1)中，所述终端数据采集模块采集终端符合指定规则或域名的应用网站的上网行为数据。

进一步地，步骤(3)中，所述数据接收入库模块将接收的所述清洗后的上网行为数据按日期索引存储在搜索服务器上。

进一步地，所述清洗包括保留URL到三级域名的数据，和/或，

将明显不能代表一个正常应用网站的URL数据清洗掉。

进一步地，所述上报数据采取压缩数据进行上报。

进一步地，所述搜索服务器为Elasticsearch。

进一步地，对于发现的所述新应用，域名有效性探测模块自动探测新发现应用网站的有效性并进行标记，或者，自动清理无效域名；

WEB展示模块展示新发现的应用网站并支持应用信息备案管理。

进一步地，所述应用发现模块定时地对所述清洗后的上网行为数据进行聚类统计，将发现的新的应用网站域名存储至数据库。

另一方面，本发明实施例还公开了一种基于终端上网行为数据的WEB应用自动发现系统，其包括依次顺序连接的终端数据采集模块、数据清洗上报模块、数据接收入库模块、应用发现模块，其中，

所述终端数据采集模块用于采集终端通过浏览器访问应用网站的上网行为数据；