[发明专利]基于弹性网络的序列集成高维数据异常检测系统及方法

说明书

本发明公开了一种基于弹性网络的集成高维数据异常检测系统，包括对应于高维数据中每一维度的单层系统和与每一维度的单层系统连接的总成集成模块；单层系统包括：数据模块；异常打分模块，第一输入端与数据模块连接；选择模块，输入端与异常打分模块的第一输出端连接；弹性网络模块，输入端与选择模块连接，输出端与异常打分模块的第二输入端连接；单层集成模块，与异常打分模块的第二输出端连接；总成集成模块与每一维度的单层集成模块连接。此方法解决了高维数据异常检测的个体预测误差大，检测精度低和稳定性差的问题，实现了高维数据个体预测模型的小误差、高精度，保证了异常检测的稳定性。

技术领域

本发明涉及高维数据异常检测技术领域，具体涉及一种基于弹性网络的序列集成高维数据异常检测系统及方法。

背景技术

异常数据检测通常是识别出不满足一般数据分布的数据对象或者是识别出与大多数数据对象存在明显偏离的数据对象。异常数据检测可以为医疗诊断，欺诈检测和信息安全等一系列领域中的广泛应用提供重要的参考依据。通常这些应用领域中产生的数据都是高维数值型数据，例如生物信息学中数以千计的分子或基因表达特征、交易欺诈中成千上万的数据特征、网络攻击中各种复杂的信息特征等。

所谓的高维数据，是指维数较高的数据，它们的维度通常可达到成百上千，甚至更高。对于高维数值型数据进行分析和处理主要有两个困难：一是欧式距离的无法使用的问题。在低维空间中，欧式距离是有意义的，可以用来衡量数据之间的相似性，但是在高维空间中的距离就没有太大的意义。二是维数灾难问题。当维数越来越多的时候，计算量会迅速上升，分析和处理高维数据的复杂度和成本会是指数增长的。因此，在对高维数值型数据进行异常数据检测的过程中会面临以下挑战：

(1)高维数值型数据中通常包含与异常数据无关的特征和噪声数据。这些无关的特征和噪声数据会对高维数值型数据的异常检测带来影响。

(2)随着数据维数的增加，邻居、距离以及最近邻等低维空间中的相关概念会无法使用，导致无法使用基于距离、密度等常规的异常数据检测方法。

(3)利用特征提取的方法对高维数据进行降维，如何衡量所提特征的准确性是一个问题。

目前也存在较多关于异常数据检测的方法，如基于距离的方法，基于密度的方法，基于树的方法等。但是由于这些方法的计算复杂性和效率问题，在对高维数据进行异常数据检测的时候需要花费较大的代价，并且在高维数据的异常检测效果方面表现的不是特别好。因此并不能够把这些方法简单地应用在高维数据的异常检测方面，需要对高维数据进行处理之后再利用这些方法进行检测。

为了对高维数值型数据进行异常数据检测，通常是将高维数据映射到低维空间中，从而保留与异常数据相关的信息以便在低维空间中对异常数据进行检测。后来，基无监督表示学习的技术开始出现，如子空间特征选择方法、神经网络和流学习方法等。

基于子空间的特征选择方法是通过寻找与异常数据相关的特征子集以此来减弱无关特征带来的影响，然后再对这些特征子集进行常规的异常数据检测。这种方法通常将子集选择和异常数据检测分开，这样会导致一些与异常数据无关的特征被用来进行异常数据的检测。因此这种方法会导致异常数据检测的精度降低并且有较大的偏差。

基于神经网络和流学习的方法侧重于保留数据的规律性信息(如数据结构、邻近信息)，然后用于聚类和数据压缩等学习任务。因此，它们保留的信息往往包含了冗余数据。