[发明专利]一种基于海量数据的网络行为识别方法及装置

说明书

本发明公开了一种基于海量数据的网络行为识别方法及装置。本方法为：1)从全文数据库系统中提取原始数据，并从提取的原始数据中提取公共字段和用户代理User‑Agent内容；2)根据User‑Agent内容中的应用信息在预先设定的规则数据库中查询对应的提取规则，然后根据提取规则从原始数据中提取位置信息；3)将每一原始数据的所述位置信息与所述公共字段作为一有效数据进行存储；4)统计存储的有效数据，如果同一记录i对应的有效数据不唯一，则判断该记录i对应的有效数据中的位置信息在tableL表中存在的个数C，其中，tableL表为存储目标网络行为位置信息的数据表；若C超过设定阈值，则判断具有目标网络行为。

技术领域：

本发明涉及网络安全及大数据处理领域，尤其涉及一种基于海量数据的网络行为识别方法及装置。

背景技术：

随着互联网的高速发展，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，伴随而来的是人类可以分析和处理的海量数据。海量数据科学将成为一门专门的学科，被越来越多的人所认知。数据在人们生活中所扮演的角色，也愈来愈重要。在中型以上的城市，如北京、上海、深圳等，网民的网络行为中产生的各类数据已经超过PB级，1PB足够存储整个美国人口的DNA，而且还能再克隆2倍。LBS(Location BasedServices)：又称基于位置的服务，它是通过电信移动运营商的无线电通讯网络(如GSM网、CDMA网)或外部DXXW方式(如GPS)及其他DXXW手段获取移动终端用户的位置信息(地理坐标，或大地坐标)，在GIS(Geographic Information System，地理信息系统)平台的支持下，为用户提供相应服务的一种增值业务。

基于LBS的服务业务在大数据处理得到了蓬勃地发展，各种开放式API得到了广泛的使用。如Google，就为用户提供了开放式的API服务。注册用户可以根据不同的需要来使用对应的服务，如通过IP查寻经纬度、通过WIFI MAC地址查寻、通过手机基站信息查寻地址、通过经纬度查寻地址、通过地址查寻经纬度等服务。同时，各个行业的基于LBS的业务也在蓬勃开展。在进行海量数据处理，尤其是在海量数据中提取位置信息，目前进行全文检索提取相关数据信息的算法一般是采用各种分词技术。

发明内容：

本发明提供一种基于海量数据的网络行为识别方法及装置，便于民警对网民、网站行为进行监督和规范。

第一方面，本发明实施例提供了一种基于海量数据的网络行为识别方法，包括：

从全文数据库系统TRS中提取原始数据。

从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取需要的应用信息。

根据所述应用信息中的URL信息，按照自定义正则表达式，计算出提取规则编号。在预先设定的规则数据库中提取与计算所得编号对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息。

将所述位置信息与所述公共字段以数组的形式合并为一对多有效数据,在此组成的有效数据将在区别行为编号中使用。

将所述有效数据输出到业务数据库和/或bcp文件。

如果在数据中查询到编号为“XXX”的记录不唯一，则读取出对应的所有提取规则字段内容，并根据其中的内容计算出对应的位置信息数组L[n]，从L[0]到L[n-1]，用位置信息做查询，select count(*)from tableL where L[n]in tableL。查询L[n]数组中在tableL表中存在的个数C，tableL为存储目标网络行为位置信息的数据表。当C超过了客户设定的值C0，则可判断具有目标网络行为。C0可以由客户设定，大于0的任意值。

第二方面，本发明实施例还提供了一种基于海量数据的目标网络行为识别装置，其特征在于，包括：