[发明专利]一种基于LDA的用户行为异常分析方法、系统及存储介质在审
申请号: | 201811120203.9 | 申请日: | 2018-09-25 |
公开(公告)号: | CN109325232A | 公开(公告)日: | 2019-02-12 |
发明(设计)人: | 曾毅;孙加光;喻波;王志海;董爱华;安鹏 | 申请(专利权)人: | 北京明朝万达科技股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06K9/62 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100097 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 告警 异常分析 用户行为 终端行为 数据分析模型 存储介质 采集 可疑行为数据 报警信息 分析模型 规则引擎 满足条件 数据分析 异常结果 用户定位 预设规则 分析 阀值时 页面 展示 | ||
1.一种基于LDA的用户行为异常分析方法,其特征在于,包括:
S1、建立基于spark的LDA终端行为数据分析模型;
S2、根据所述数据分析模型中的预设规则判断新采集的终端行为是否异常,若存在异常,则跳转到步骤S3,否则跳转到步骤S4;
S3、对异常结果利用规则引擎分析策略进行分析,对于满足条件的可疑行为数据生成报警信息;
S4、结束。
2.如权利要求1所述的基于LDA的用户行为异常分析方法,其特征在于,
所述步骤S1,具体为,
S1.1、对业务日志数据进行采集,并对采集的业务日志数据进行归一化处理;
S1.2、对所述处理后的数据进行分词处理,根据预设的创建规则生成单词;
S1.3、以输入的终端行为数据作为输入文档,重复步骤S1.1~S1.2,通过大量文档数据对模型进行训练,得到收敛的结果,从而建立训练好的基于spark的LDA终端行为数据分析模型。
3.如权利要求2所述的基于LDA的用户行为异常分析方法,其特征在于,
所述步骤S2具体包括,
在所述数据分析模型中设置阈值,若所述LDA终端行为数据分析模型对新采集到的终端行为数据进行分析得到的分值低于所述阈值时,则认为新采集到的终端行为异常。
4.如权利要求3所述的基于LDA的用户行为异常分析方法,其特征在于,
在所述步骤S3中对于满足条件的可疑行为数据生成报警信息,还包括下列步骤:针对确定的发现的可疑终端行为数据进行分析,找到该可疑终端行为数据对应的源IP地址和目的IP地址,并与对应的位置信息关联,展示在地图上。
5.如权利要求3所述的基于LDA的用户行为异常分析方法,其特征在于,
所述LDA终端行为数据分析模型中,将终端行为数据处理后的词语形成的文档作为文档集合D,将终端行为数据处理后形成的词语作为文档词语集合W,将终端行为数据中的网络行为主题作为文档主题集合T,w代表单词个体,d 代表文档个体,t代表主题个体,
终端行为数据中每个词语在文档集合中出现的概率表示为:
在T个主题下,文档集D中第i个单词wi的概率表示如下:
其中,zi是第i个词汇wi取自主题T的变量,P(wi|zi=j)是wi分布在j的概率,P(zi=j)是d在j上的概率分布,
根据上述公式确定新采集到的终端行为数据的分值。
6.如权利要求4或5所述的基于LDA的用户行为异常分析方法,其特征在于,所述规则引擎分析策略包括:统计一定时间周期的数据、对数据进行数量统计。
7.一种基于LDA的用户行为异常分析系统,其特征在于,包括:
LDA模型建立模块,用于建立基于spark的LDA终端行为数据分析模型;
终端行为判断模块,用于根据所述数据分析模型中的预设规则判断新采集的终端行为是否异常,若异常,对异常结果利用规则引擎分析策略进行分析,对于满足条件的可疑行为数据生成报警信息。
8.如权利要求7所述的基于LDA的用户行为异常分析系统,其特征在于,所述LDA模型建立模块包括采集处理模块、单词创建模块、LDA数据分析训练模块,其中,
采集处理模块,用于对业务日志数据进行采集,并对采集的业务日志数据进行归一化处理;
单词创建模块,用于对所述处理后的数据进行分词处理,根据预设的创建规则生成单词;
LDA数据分析训练模块,用于以输入的终端行为数据作为输入文档,通过大量该输入文档对LDA分析模型进行训练,得到收敛的结果,根据所述结果建立训练好的基于spark的LDA终端行为数据分析模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明朝万达科技股份有限公司,未经北京明朝万达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811120203.9/1.html,转载请声明来源钻瓜专利网。