[发明专利]大数据环境下的分布式跨维度异常数据检测方法

权利要求书

1.一种大数据环境下的分布式跨维度异常数据检测方法，其特征在于，包括：

数据切分，基于输入数据集的维度对输入数据集进行切分，形成多个数据桶；

根据每一维度上切分出来的数据桶形成非平衡二叉编码树；

基于非平衡二叉编码树将切分出来的多个数据桶分配到各运算节点上；

在各个运算节点上计算执行每个数据点的相对离群量；

筛选出相对离群量大于或等于设定阈值的数据点，形成异常点集合。

2.根据权利要求1所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，数据切分的方法包括：

获取待切分的数据桶或输入数据集在某一维度上的中值；

以该中值对待切分的数据桶或输入数据集沿所述某一维度进行切分，形成两个子数据桶；

当形成的子数据桶中数据点的数量大于或等于平均运算节点数量时，对形成的子数据桶在另一维度上进行再次切分，直到形成的子数据桶上数据点的数量小于平均运算节点数量。

3.根据权利要求1所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，基于非平衡二叉编码树将切分出来的多个数据桶分配到各运算节点上的方法包括：

以分布式计算环境中运算节点集合M_set为输入，对切分后的数据桶集合B_set进行降序排列得到

取中前COUNT(M_node)个数据桶分别分配给M_set中的每一个节点，COUNT(M_node)为分布式计算环境中运算节点的数量；

计算运算节点集合M_set中的每一个节点现已分配的数据桶中所有数据点d_point的数量的均值，记为初始化空结点集合M_tmp，将运算节点集合M_set中所有分配到数据点d_point的数量小于的节点加入空结点集合M_tmp；

对空结点集合M_tmp中的节点按其包含的数据点d_point的数量升序排列，得到确定与未被分配的数据桶b_i^unalloc邻接的数据桶，将未被分配的数据桶b_i^unalloc分配给和它邻接的数据桶最多的节点m_i。

4.根据权利要求3所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，确定一个数据桶的邻接数据桶的方法为：

获取每一个数据桶在非平衡二叉编码树中的编码；

根据获取到的编码计算每一个数据桶在每一维度上的十进制值；

将每一维度上的十进制值进行组合形成这个数据桶的坐标；

根据每个数据桶的坐标确定其邻接数据桶。

5.根据权利要求1所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，在各个运算节点上计算执行每个数据点的相对离群量的具体步骤为：

在各个运算节点上计算执行每个数据点的离群度；

根据离群度计算数据点的局部离群量；

根据数据点的局部离群量计算执行每个数据点的相对离群量。

6.根据权利要求5所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，采用以下公式计算执行每个数据点的离群度

其中，和分别为维度l上第i个数据点和第j个数据点，COUNT(d_point)为参与运算的数据点的总数。

7.根据权利要求6所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，采用以下公式计算数据点的局部离群量：

其中，为数据点的局部离群量。

8.根据权利要求7所述的大数据环境下的分布式跨维度异常数据检测方法，其特征在于，采用以下公式计算执行每个数据点的相对离群量：

其中，为执行每个数据点的相对离群量。