[发明专利]大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法

权利要求书

1.大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，包括以下步骤：

步骤1.数据的Box切分：民生消费领域的数据量大，在采用分布式计算进行处理前，对输入数据集进行切分，形成Count(b)个Box，且Box集合中各个Box内的数据点p_data个数不等，其中为输入数据的集合。则切分算法可以用如下方式描述为：

算法1.SLICE(Box b,DIMENSION l).

并有：

MVALbl=12(btopl+bbottoml)---(1)]]>

AVGpdata=COUNTpdata(Dsetinput)COUNT(Mnode)---(2)]]>

其中，和分别为Box b在维度l上的上下界，COUNT_pdata(b_left)，

COUNT_pdata(b_right)，和COUNT(M_node)分别为两个子Box、输入数据集上的数据点数量和分布式计算环境中运算节点的数量，L为维度数量。

步骤2.Box编码树构建：构建非平衡二叉编码树，用以快速定位Box之间的邻接关系，其构建步骤为：

T101.根结点代表数据集的完整区域，其编码记为Ο；

T102.切分后左右子Box的分别为b_left和b_right；

T103.b_left在编码树中为其父Box的左子结点，其编码为

CODE_left＝CODE_parent+"0"，CODE_parent为父Box的结点编码；

T104.b_right在编码树中为其父Box的右子结点，其编码为

CODE_right＝CODE_parent+"1"，CODE_parent为父Box的结点编码；

T105.继续构建直到切分完成。

确定一个Box的邻接Box的方法，被选Box b_s的编码为1001，对应非平衡二叉编码树，得其第0维为1、0，合起来为二进制10，十进制为2，其第1维编码的十进制表示为1，据此推导其它Box。找到在该维度分割方向上的编码十进制表示与b_s相同的Box为邻接Box。

步骤3.Box在各运算节点上的分配：对一个Box集合通常情况下有Count(b)≥COUNT(M_node)，则分配流程如下：

T201.以Box集合运算结点集合为输入，对B_set中的Box进行降序排列得

T202.取前COUNT(M_node)个Box分别分配给M_set中的每一个结点；

T203.对于中的每一个未被分配的Box计算M_set中的每一个结点现已分配Box所有p_data数量的均值，记为初始化空结点集合M_tmp，将M_set中所有分配到p_data数量不小于的结点加入M_tmp；

T204.对M_tmp中结点按含p_data数量升序排列，得到根据步骤2中确定邻接Box的方法，找出与b_i^unalloc邻接Box最多节点m_i，将b_i^unalloc分配给m_i。

步骤4.异常数据检测：输入数据集合Box个数Count(b)，经过分配后在计算节点上执行每个数据点的离群度的计算，其公式如下：

DISpdatai=Σj=0,j≠iCOUNT(pdata)|DEi‾-DEij|2COUNT(pdata)---(3)]]>

DEi‾=Σj=0,j≠iCOUNT(pdata)DEijCOUNT(pdata)---(4)]]>

DEij‾=Σl∈[1,L](pil-pjl)2---(5)]]>

其中，和COUNT(p_data)分别为维度l第i、第j个数据点和参与运算的数据点的总数。计算数据点的局部离群量令为参与运算的数据点的最大局部离群量，并计算相对离群量公式如下：

Fpilp=Σi=1COUNT(pdata)DISpdataiCOUNT(pdata)·DISpdatai---(6)]]>

Rpilp=FpilpMAX(Fplp)---(7)]]>

从中筛选出的数据点，便得到异常点集合，其中η为事先确定的一个值，通常取值在[0.8,1]之间能取得较好的结果。

若考虑政策管控下的民生消费品因素，异常点检测过程相对简单，只要将数据点与政策约束的取值区间进行比对，就能得到异常点集合。