[发明专利]一种数据并行聚类方法及装置

说明书

本发明实施例提供一种数据并行聚类方法及装置，包括：将数据集划分为多个数据子集，为每个数据子集配置一个并行计算节点；分别对各并行计算节点对应的数据子集进行层次聚类处理，生成与所述各并行计算节点对应的聚类树；确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐；将所述模板聚类树和调整后的各聚类树分割为多个子树，为具有对齐关系的子树配置相同的集群标识；根据所述集群标识对各子树进行分类，生成聚类树数组。本发明可以有效提升了数据处理的效率，减少了数据处理延时。

技术领域

本发明实施例涉及通信技术领域，具体涉及一种数据并行聚类方法及装置。

背景技术

高级持续性威胁(英文全称为Advanced Persistent Threat，英文简称为APT)是一种利用先进的攻击手段对特定目标进行长期持续性网络攻击的形式，严重威胁企业数据安全。为了防范APT网络攻击，往往需要对网络日志进行收集和分析，以识别、阻止来自非法域名的攻击。

现有技术中，可以在企业互联网出口部署流探针设备，由所述流探针设备采集域名系统(英文全称为Domain Name System，英文简称为DNS)流量，并将采集的流量发送给网络安全智能系统(英文全称为Comprehensive Intranet Security，英文简称为CIS)，由CIS进行相应地网络安全处理。网络运维人员可以通过IP地址、事件类型检索异常事件，由CIS通过数据过滤、域名聚类处理返回非法域名。其中，现有技术采用的域名聚类方法一般是层次聚类方法。层次聚类方法可以对给定的数据集进行层次的分解，直到满足设定的条件为止。假设有N个待聚类的样本，一般的层次聚类方法的处理步骤为：(1)将每个样本归为一类，计算每两个类的距离；(2)寻找各个类中距离最近的两个类，将其归为一类，于是类的总数少了一个；(3)重新计算新生成的类与各个旧类之间的距离；(4)重复步骤2和步骤3，直到所有样本点都归为一类为止。这种方法可以将离散的样本数据逐层归类，但在处理大量域名数据时存在执行时间长、算法复杂度高的缺点。

发明内容

本发明实施例提供了数据并行聚类方法及装置，可以对大量数据进行并行聚类处理，有效提升了数据处理的效率，减少了数据处理延时。

为此，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种数据并行聚类方法，所述方法包括：将数据集划分为多个数据子集，为每个数据子集配置一个并行计算节点；分别对各并行计算节点对应的数据子集进行层次聚类处理，生成与所述各并行计算节点对应的聚类树；确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐；将所述模板聚类树和调整后的各聚类树分割为多个子树，为具有对齐关系的子树配置相同的集群标识；根据所述集群标识对各子树进行分类，生成聚类树数组。

在第一方面的第一种可能的实现方式中，所述确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐包括：将第一聚类树作为模板聚类树，选取除所述模板聚类树之外的任意一个聚类树作为第二聚类树；计算所述模板聚类树的子树与所述第二聚类树的子树的相似度，判断是否满足设定的相似度条件；若满足设定的相似度条件，交换所述第二聚类树的子树的位置；保存所述模板聚类树各子树与所述第二聚类树各子树的对齐关系；并行处理完所有聚类树。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述计算所述第一聚类树的子树与所述第二聚类树的子树的相似度，判断是否满足设定的相似度条件包括：计算所述第一聚类树的左子树与所述第二聚类树的左子树的相似度作为第一相似度值，计算所述第一聚类树的右子树与所述第二聚类树的右子树的相似度作为第二相似度值，计算所述第一聚类树的右子树与所述第二聚类树的左子树的相似度作为第三相似度值，计算所述第一聚类树的左子树与所述第二聚类树的右子树的相似度作为第四相似度值；判断所述第一相似度值与所述第二相似度相加得到的和值是否小于所述第三相似度值与所述第四相似度相加得到的和值；若满足，确定满足设定的相似度条件。