[发明专利]一种基于无监督算法的异常群组检测方法

说明书

本发明公开了一种基于无监督算法的异常群组检测方法，包括以下步骤：S1：数据预处理，特征筛选；S2：计算用户相似度；S3：根据用户相似度，使用无监督算法聚类，形成群组；S4：使用频繁集挖掘算法分析群组聚集原因和聚集程度；S5：对聚类形成的群组评分，挑选风险群组。本发明在建模之前不需要有大量的有标签样本，只需要少量有标签样本或基本的业务经验即可。标签样本往往需要大量的人工标注工作，甚至在有些业务场景中无法获取较多的标签样本，本发明在节省人工标注成本的同时丰富了模型适用的业务场景。

技术领域

本发明涉及电子信息技术领域，特别涉及一种基于无监督算法的异常群组检测方法。

背景技术

随着社会的高速发展，互联网已经渗透到各行各业中，影响着每一个人。正所谓有阳光的地放就有阴影。人们在享受互联网带来的舒适、便捷生活的同时却也面临着各种各样的风险。在互联网快速发展的行业如：电商，金融，支付等风险尤为突出。套利、刷单、洗钱、虚假注册等词语对大众来说已经不再陌生。黑产攻击手段的多样化给风险识别带来了困难，传统的黑产对抗方法主要分为三种：专家规则，有监督模型，黑白名单机制。专家规则具有较高的准确率，规则变更灵活，检测效果显著等优点，但是需要业务人员有很强的业务经验，而且覆盖有限，规则基本都是基于对历史风险事件的总结和归纳，无法做到对新风险类型的提前感知。有监督模型使用较为广泛，但同样无法应对不断变化的黑产攻击手段，只能被动地应对欺诈，而且需要大量的准确的样本标签，结果缺乏可解释性。黑白名单机制的特点是准确率高召回率低，覆盖样本量较少。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于无监督算法的异常群组检测方法。

本发明提供了如下的技术方案：

本发明提供一种基于无监督算法的异常群组检测方法，包括以下步骤：

S1：数据预处理，特征筛选；

S2：计算用户相似度；

S3：根据用户相似度，使用无监督算法聚类，形成群组；

S4：使用频繁集挖掘算法分析群组聚集原因和聚集程度；

S5：对聚类形成的群组评分，挑选风险群组。

上述的步骤S1，包含：

S1.1：整合用户的交易数据和操作数据，根据业务经验选择相关入模特征。

上述的步骤S2，包含：

S2.1：基于步骤S1.1中确定的入模特征特征，根据业务经验或少部分带标签样本训练有监督模型，确定不同特征的权重；

S2.2：基于不同特征的权重，利用Jaccard系数计算用户间的相似度，形成用户相似度矩阵。

上述的步骤S3，包含：

S3.1：根据步骤S2.2中计算的用户相似度矩阵，利用自底向上的层次聚类算法对用户聚类，形成群组。

上述的步骤S4，包含：

S4.1：根据步骤S3.1中得到的用户群组，使用FP-growth频繁集挖掘算法，分析每个群组的聚集原因和聚集度。

上述的步骤S5，包含：

S5.1：根据步骤S4.1中得到的群组聚集度，给群组一个聚集度评分；

S5.2：根据群组内用户的聚集特征异常情况，如：用户黑名单占比，设备黑名单占比等，给群组一个风险程度评分；

S5.3：将聚集度评分和风险程度评分结合，给群组一个综合的风险评分。

与现有技术相比，本发明的有益效果如下：