[发明专利]一种基于LDA的用户行为异常分析方法、系统及存储介质

说明书

本发明公开了一种基于LDA的用户行为异常分析方法、系统及存储介质。基于LDA的用户行为异常分析方法包括：建立基于spark的LDA终端行为数据分析模型，同时设定一个告警阈值，通过所述LDA分析模型对新采集到的终端行为数据进行分析得到一个分值，根据所述数据分析模型中的预设规则判断新采集的终端行为是否异常，当判断分值低于告警阀值时，对异常结果利用规则引擎分析策略进行分析，对于满足条件的可疑行为数据生成报警信息，在前端页面进行展示，向用户告警。通过本发明的技术方案，提高数据分析的效率，便于用户定位问题所在。

技术领域

本发明涉及数据安全技术领域，具体涉及一种基于LDA的用户行为异常分析方法、系统及存储介质。

背景技术

随着信息技术的快速发展，互联网技术得到了长足发展，对人们的生产生活带来了深远影响。网络技术给人们的工作学习生活带来方便的同时，也面临着巨大的挑战，网络环境交叉渗透，各种形式的异常流量，恶意攻击充斥网络，降低了网络性能，影响网络服务的正常提供。

应用日志数据检测网络威胁行为异常通信是目前比较有效的方法。日志来自于大量网络设备上的，包括记录网络代理的每一个出站连接，记录DHCP服务器每一个动态IP的分配，记录VPN和企业网络的远程连接，记录窗口域控制器试图验证的记录，杀毒软件在终端扫描恶意软件的结果。由于每天服务器端和主机端都产生了庞大的事件记录相关的日志，因此如何处理大数据的问题是其中一个大的难点。第2个难点在于大多数网络设备只记录终端的IP地址，并且，IP地址大多是动态的，因此，如何确定IP地址属于哪个主机是需要解决的问题。

现有技术中存在一种基于异常的网络入侵检测系统(A-NIDS),其工作过程如下(参见图1)：参数化阶段：系统将收集到的信息按照预定的方式格式化或预处理；训练阶段：根据正常的行为特征表现进行分类，然后建立相应的模型；检测阶段：系统模块训练完成并可用，与得到的流量数据进行对比，如果发现偏差超过给定的阈值时，系统将发出警告，生成检测报告。上述方案的主要缺点：分析效率低、发出警告速度慢、用户不便于快速定位问题所在。

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

LDA是一种非监督机器学习技术，可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bagofwords)的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

因此，如何通过LDA算法对终端行为进行分析，并在获得相关数据的情况下，发现终端行为的规律成为本发明需要解决的技术问题。

发明内容

本发明提供一种基于LDA的用户行为异常分析方法、系统以及计算机可读存储介质，能够保障网络和数据安全。

本发明一实施例提供一种基于LDA的用户行为异常分析方法，包括：

S1、建立基于spark的LDA终端行为数据分析模型；

S2、根据所述数据分析模型中的预设规则判断新采集的终端行为是否异常，若存在异常，则跳转到步骤S3，否则跳转到步骤S4；

S3、对异常结果利用规则引擎分析策略进行分析，对于满足条件的可疑行为数据生成报警信息；

S4、结束。

优选的，所述步骤S1，具体为，