[发明专利]一种生产业务噪声数据检测和分离系统

权利要求书

1.一种生产业务噪声数据检测和分离系统，其特征在于，包括检测模块、识别模块和甄别模块，所述检测模块用于检测出单维度数据集中的噪声数据，形成新数据组，所述识别模块用于在所述新数据组中识别并剔除离群值和异常值，所述甄别模块用于识别并分离多维数据集中的噪声数据。

2.根据权利要求1所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述检测模块是根据数据自身分布特征来进行检测。

3.根据权利要求2所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述检测的具体方法为：

假设有一组数据如下：

序号1234 …n

数据E_1E_2E_3E_4 …E_n

（1）将数据集切等分成αn个区间（α可取1,10,100,1000），区间大小为

θ=(Max{E_1,E_2,…,E_n }-Min{E_1,E_2,…,E_n})/αn；

（2）截取数据分布集中的区间作为数据集中域，找到数据集中域形成新数据组E。

4.根据权利要求1所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述识别模块是利用箱型图方法来进行识别和剔除离群值和异常值。

5.根据权利要求4所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述箱型图方法具体为：

利用箱型图方法，对数据组剔除离群值，得到非离群数据组[ Q_1-3IQR, Q_3+3IQR]，再取非异常数据组[Q_1-1.5IQR, Q_3+1.5IQR]，得到目标数据；

其中：Q_1为第一分位数，Q_3为第三分位数，IQR为四分位间距IQR=Q_3-Q_1。

6.根据权利要求1所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述甄别模块的工作具体为：

（1）利用基于欧几里德距离的聚类方法将数据集分为多个簇；

（2）识别不能归并到任何一簇中的数据，这些数据即为孤立点或奇异点；

（3）将所述孤立点或奇异点进行剔除处理。

7.根据权利要求6所述的一种生产业务噪声数据检测和分离系统，其特征在于，所述聚类方法为回归分析方法。