[发明专利]基于离群数据挖掘的机械产品加工工序异常并行检测方法

权利要求书

1.基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于包括以下步骤：

a、机械产品加工工序数据预处理：对机械产品加工工序数据进行数据清洗和数据转换，生成适用于离群数据挖掘的工序数据集，并将其上传到Hadoop集群系统的HDFS；

b、机械产品加工工序异常并行检测：在Hadoop集群系统中，设计三个MapReduce作业完成加工工序的异常现象并行检测，第一个作业采用基于指标稀疏矩阵和指标密度矩阵的数据约减方法实现工序数据的并行约简，第二个作业采用粒子群优化算法实现稀疏超方体的并行化搜索，第三个作业采用对象数量验证的方式针对单数据节点上的稀疏超方体进行交叉认证，获得全局稀疏超方体，并从全局稀疏超方体中输出机械产品加工工序的异常现象。

2.根据权利要求1所述的基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于：所述步骤a中，机械产品加工工序数据具有高维、海量、稀疏的特征，Hadoop集群是指安装Hadoop 1.1.2的并行计算环境，根据处理的机械数据大小确定数据节点的数量，至少是4个。

3.根据权利要求1或2所述的基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于：所述步骤b具体为：

b1、所述第一个作业，实现机械产品加工工序数据的并行约简，具体包含一个第一mapper函数和一个第一reducer函数，第一mapper函数从HDFS中获取数据，在各个数据节点并行运行，用来计算指标稀疏矩阵和局部指标密度矩阵；第一reducer函数对各数据节点在第一mapper函数中的局部指标密度矩阵进行收集、排序、合并，然后生成一个全局指标密度矩阵，应用全局指标密度矩阵，找出待剪枝的属性指标，并从原始数据中删除，生成工序约简数据集；

b2、所述第二个作业，是在步骤b1中生成的工序约简数据集上，并行地查找稀疏超方体，具体包含一个第二mapper函数和一个第二reducer函数，第二mapper函数从步骤b1的第一reducer函数中获取工序约简数据集，在各个数据节点上并行地执行粒子群优化算法，找到所有局部稀疏超方体；第二reducer函数收集所有第二mapper产生的局部稀疏超方体，将其合并，生成本节点上的全局稀疏超方体；

b3、所述第三个作业，实现单个数据节点上产生的全局稀疏超方体在其它数据节点上的交叉验证，并输出机械产品加工工序的异常现象，具体包含一个第三mapper函数和一个第三reducer函数，第三mapper函数中，对每个数据节点，采用循环语句统计包含在本节点全局稀疏超方体中数据对象的个数；第三reducer函数从全局角度验证稀疏超方体的正确性，并从中提取上下文离群数据，即提取机械产品加工工序的异常现象。

4.根据权利要求3所述的基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于：所述步骤b1中，

指标稀疏矩阵的计算方法为：使用k个最近邻居，即kNN，计算每道工序中各个性能指标的稀疏系数，所有工序指标的稀疏系数值组成指标稀疏矩阵；

局部指标密度矩阵的计算方法为：设定稀疏系数阈值，根据稀疏系数与稀疏系数阈值的大小关系，将工序中各性能指标分为密集指标和稀疏指标，分别用0,1来标识，进而由指标稀疏矩阵生成相应的局部指标密度矩阵，对所有局部指标密度矩阵收集、排序、合并，最终生成一个全局指标密度矩阵；

生成全局指标密度矩阵后，提取工序数据集中的密集性指标，将其从原始的工序数据集中剪枝，生成工序约简数据集。