[发明专利]一种数据并行聚类方法及装置

权利要求书

1.一种数据并行聚类方法，其特征在于，所述方法包括：

将数据集划分为多个数据子集，为每个数据子集配置一个并行计算节点；

分别对各并行计算节点对应的数据子集进行层次聚类处理，生成与所述各并行计算节点对应的聚类树；

确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐；

将所述模板聚类树和调整后的各聚类树分割为多个子树，为具有对齐关系的子树配置相同的集群标识；

根据所述集群标识对各子树进行分类，生成聚类树数组。

2.根据权利要求1所述的方法，其特征在于，所述确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐包括：

将第一聚类树作为模板聚类树，选取除所述模板聚类树之外的任意一个聚类树作为第二聚类树；

计算所述模板聚类树的子树与所述第二聚类树的子树的相似度，判断是否满足设定的相似度条件；

若满足设定的相似度条件，交换所述第二聚类树的子树的位置；

保存所述模板聚类树各子树与所述第二聚类树各子树的对齐关系；

并行处理完所有聚类树。

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一聚类树的子树与所述第二聚类树的子树的相似度，判断是否满足设定的相似度条件包括：

计算所述第一聚类树的左子树与所述第二聚类树的左子树的相似度作为第一相似度值，计算所述第一聚类树的右子树与所述第二聚类树的右子树的相似度作为第二相似度值，计算所述第一聚类树的右子树与所述第二聚类树的左子树的相似度作为第三相似度值，计算所述第一聚类树的左子树与所述第二聚类树的右子树的相似度作为第四相似度值；

判断所述第一相似度值与所述第二相似度值 相加得到的和值是否小于所述第三相似度值与所述第四相似度值 相加得到的和值；

若满足，确定满足设定的相似度条件。

4.根据权利要求1所述的方法，其特征在于，所述将所述模板聚类树和调整后的各聚类树分割为多个子树，为具有对齐关系的子树配置相同的集群标识包括：

将所述模板聚类树分割为多个子树，为每一个子树配置一个集群标识；

选取除所述模板聚类树之外的任意一个聚类树作为第二聚类树，将所述第二聚类树分割为多个子树，根据保存的所述模板聚类树各子树与所述第二聚类树各子树的对齐关系，为所述第二聚类树的各子树配置与所述子树具有对齐关系的模板聚类树的子树相同的集群标识。

5.根据权利要求1所述的方法，其特征在于，所述根据所述集群标识对各子树进行分类，生成聚类树数组包括：

将分割所述模板聚类树和调整后的各聚类树得到的子树中具有相同集群标识的子树归为一类，生成各分类数组。

6.根据权利要求1所述的方法，其特征在于，所述数据集为域名数据集，所述方法还包括：

根据各分类数组的类层次信息和其包含的叶子节点信息，将各分类域名与合法域名进行比较，确定异常域名。

7.根据权利要求1或6所述的方法，其特征在于，在将数据集划分为多个数据子集之前，所述方法还包括：

采集DNS事件域名，将所述DNS事件域名作为数据集；

在生成聚类数组之后，所述方法还包括：

保存合法域名所在的分类数组。

8.一种数据并行聚类装置，其特征在于，所述装置包括：

配置模块，用于将数据集划分为多个数据子集，为每个数据子集配置一个并行计算节点；

层次聚类模块，用于分别对各并行计算节点对应的数据子集进行层次聚类处理，生成与所述各并行计算节点对应的聚类树；

对齐模块，用于确定模板聚类树，根据所述模板聚类树调整各聚类树以使得所述各聚类树与所述模板聚类树对齐；

标识模块，用于将所述模板聚类树和调整后的各聚类树分割为多个子树，为具有对齐关系的子树配置相同的集群标识；

分类模块，用于根据所述集群标识对各子树进行分类，生成聚类树数组。