[发明专利]一种数据异常点检测方法、装置、系统、以及存储介质

权利要求书

1.一种数据异常点检测方法，其特征在于，所述方法包括以下步骤：

S1：接收待检测数据，并对该待检测数据进行预处理；

S2：根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；

S3：将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；

S4：将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；

S5：将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及

S6：将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点；

所述步骤S2包括：

S2.1：根据选定的预测算法对预处理后的待检测数据进行预测，生成该预测算法对应结构的数据样本集；

S2.2：对该数据样本集进行拆分，得到训练样本集和测试样本集；

所述步骤S2.1包括：

S2.1.1：设定预处理后的待检测数据长度为n，对应的输入时间序列的索引表达形式为x(0),x(1),...,x(n-1 )；

S2.1.2：设定该预测算法对应的递归神经网络的输入时序长度以及输出时序长度分别为L_i和L_o，通过基于长度为L_i的历史时序数据预测未来长度为L_o的时序数据；

S2.1.3：将预处理后的待检测数据的时间序列提前L_i步以及滞后L_o步进行排列，分别得到输入矩阵X以及输出矩阵Y，从而生成该预测算法对应结构的数据样本集，其中，所述输入矩阵X表达为：，所述输出矩阵Y表达为：；

所述联合投票包括：

针对某一待判决数据点，获取所述多种异常定义下的多种异常检测结果；

如果该待判决数据点被所述多种异常定义标记为异常点的次数超出预设阈值，则确定该待判决数据点为最终异常点；

如果该待判决数据点被所述多种异常定义标记为异常点的次数没有超出预设阈值，则确定该待判决数据点为正常点。

2.如权利要求1所述的数据异常点检测方法，其特征在于，所述步骤S1包括：

S1.1：进行程序的初始化设置；

S1.2：对接收的待检测数据进行剔除野点的操作；

S1.3：使用剔除点前后两个数据的均值对剔除位置进行填充，所述均值是指在待检测数据中，剔除点位置的前一个时间点处数值以及后一个时间点处数值的平均值；

S1.4：对填充后的待检测数据进行归一化处理，将其数值范围转换到0-1范围之内。

3.如权利要求1所述的数据异常点检测方法，其特征在于，所述步骤S2.2包括：根据预先设定的拆分比例，将该数据样本集中位于该拆分比例前的数据作为训练样本集，剩余的数据作为测试样本集。

4.如权利要求1所述的数据异常点检测方法，其特征在于，所述预处理的逆向运算包括：对所述预测初始值进行反归一化，将所述预测初始值对应的归一化数据值域转换成初始状态。

5.一种利用权利要求1所述的数据异常点检测方法的数据异常点检测系统，其特征在于，该系统包括：

数据预处理模块，用于接收待检测数据，并对该待检测数据进行预处理；

算法预测模块，用于根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；

所述算法预测模块，还用于将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；

所述算法预测模块，还用于将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；

异常点检测模块，用于将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及

所述异常点检测模块，还用于将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。