[发明专利]基于改进SOM算法的数据智能检测方法及装置

说明书

本发明公开了一种基于改进SOM算法的数据智能检测方法及装置，其中，该方法包括：获取样本集，将样本集按维度分解，逐维进行基于密度的一维孤立点检测，将多维样本集按维度对离群点进行初步筛选，剔除离群点；通过基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；通过核函数法对基于自组织特征映射算法进行改进，通过改进后的基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；根据专家经验剔除样本集中的异常数据点，完成数据的智能检测。该方法利用基于密度的一维孤立点检测能够剔除异常数据，提高数据质量，将核函数引用到自组织映射算法的权值更新中能减少样本数据非线性的影响，提高了SOM算法的聚类效果。

技术领域

本发明涉及大数据智能检测技术领域，特别涉及一种基于改进SOM算法的数据智能检测方法及装置。

背景技术

在设备上安装各类传感器等数据采集装置，可以采集设备运行数据，监测设备运行状态。由于系统复杂、环境恶劣等因素，使得系统采集到的数据具有非线性强、噪声大、极不稳定等特点。因此，异常数据检测是数据预处理中的重要步骤之一。

异常数据又称为离群点。异常数据可能是由于设备故障、人为测量有误等原因导致的错误数据，也可能是与实际对应的有意义的事件。错误数据对系统运行存在不利的影响。假如不及时发现和剔除错误数据，可能会对设备造成损坏，对系统运行带来潜在的隐患。

现有自动化业务系统数据采集中断、缺失、采集偏差等现象普遍存在。基础数据检测的任务繁重，而目前系统自我检测能力不足，主要是依赖人工检测。人工检错不仅会耗费大量的人力和时间，而且也无法保证人工检错的准确度。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于改进SOM算法的数据智能检测方法，该方法利用基于密度的一维孤立点检测能够剔除异常数据，提高数据质量，将核函数引用到自组织映射算法的权值更新中能减少样本数据非线性的影响，提高了SOM算法的聚类效果。

本发明的另一个目的在于提出一种基于改进SOM算法的数据智能检测装置。

为达到上述目的，本发明一方面实施例提出了一种基于改进SOM算法的数据智能检测方法，包括：

获取样本集，将所述样本集按维度分解，逐维进行基于密度的一维孤立点检测，将多维样本集按维度对离群点进行初步筛选，剔除离群点；

通过基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；

通过核函数法对所述基于自组织特征映射算法进行改进，通过改进后的基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；

根据专家经验剔除样本集中的异常数据点，完成数据的智能检测。

为达到上述目的，本发明另一方面实施例提出了一种基于改进SOM算法的数据智能检测装置，包括：

第一剔除模块，用于获取样本集，将所述样本集按维度分解，逐维进行基于密度的一维孤立点检测，将多维样本集按维度对离群点进行初步筛选，剔除离群点；

第二剔除模块，用于通过基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；

第三剔除模块，用于通过核函数法对所述基于自组织特征映射算法进行改进，通过改进后的基于自组织特征映射算法对样本集进行聚类，剔除异常数据点；

智能检测模块，用于根据专家经验剔除样本集中的异常数据点，完成数据的智能检测。

本发明的技术方案具有以下技术效果：

(1)建立了基于密度和改进自组织特征映射算法的数据智能检测方法，能够剔除异常数据，提高数据质量。