[发明专利]一种数据的检错方法及系统

说明书

本发明公开了一种数据的检错方法和系统，所述方法包括：依据预设的确定规则，确定与目标数据关联的各个字典；依据所述各个字典，对所述目标数据进行字典化处理，得到至少一个字典化特征向量；将所述字典化特征向量传递给依据预设的训练规则训练的分类器模型进行检错，实现对所述目标数据的检错。本发明提供的一种数据的检错方法和系统，采用维度相同的字典对所述目标数据进行字典化处理，将得到与所述目标数据对应的多个维度相同的字典化特征向量，将所述字典化特征向量传递给所述分类器模型进行检错，避免了现有技术中当原始数据中某些维度的特征缺失时，将相应维度的特征置零，导致的检测准确性降低的问题。

技术领域

本发明涉及数据分析处理技术领域，尤其涉及一种数据的检错方法及系统。

背景技术

为了保证产品的性能，在产品研制过程中，都会采用该产品实际运行的原始数据对产品进行设计和调整，但是，由于原始数据的采集过程中采集设备故障或者运行异常等原因，会导致原始数据存在较大的误差或者错误，为保证模拟的真实性都会对数据进行检错，滤除掉异常数据。依据该原始数据的特点，设计支持向量机SVM分类器模型，对原始数据进行特征提取，训练SVM分类器模型，依据训练完成的分类器模型对数据进行检错。

发明人对现有的数据的检错方法进行研究发现，基于SVM分类器模型的数据检错方法，需要输入的特征向量的维度是固定的。而每一个原始数据的维度不是固定的，因此，为了满足输入维度固定的条件，在原始数据中某些维度的特征缺失时，将相应维度的特征置零。这样简单处理虽满足了输入维度固定的条件，但使得检测准确性降低。

发明内容

有鉴于此，本发明提供了一种数据的检错方法及系统，用以解决现有技术依据SVM分类器模型进行数据检错时，为了满足输入维度固定的条件，在原始数据中某些维度的特征缺失时，将相应维度的特征置零，导致检测准确性降低的问题。具体方案如下：

一种数据的检错方法，包括：

依据预设的确定规则，确定与目标数据关联的各个字典；

依据所述各个字典，对所述目标数据进行字典化处理，得到至少一个字典化特征向量；

将所述字典化特征向量传递给依据预设的训练规则训练的分类器模型进行检错，实现对所述目标数据的检错。

上述的方法，优选的，依据预设的确定规则，确定与目标数据关联的各个字典包括：

解析所述目标数据，得到与所述目标数据关联的各个特征向量集文档，每一个所述特征向量集文档包含至少一个特征向量；

对每一个所述特征向量集文档进行聚类分析，得到与所述特征向量集文档关联的字典；

当接收到对所述特征向量集文档聚类分析的结束指令时，得到与所述目标数据关联的各个字典。

上述的方法，优选的，对每一个所述特征向量集文档进行聚类分析包括：

确定所述特征向量集文档中的簇的数量，在所述特征向量集文档中选取与所述簇的数量相同的特征向量作为第一簇中心；

将所述特征向量集文档中的每一个特征向量分别与所述第一簇中心包含的特征向量进行相异度计算，得到第一相异度计算结果；

依据所述第一相异度计算结果调整所述第一簇中心的特征向量，得到第二簇中心；

将所述特征向量集文档中的每一个特征向量分别与所述第二簇中心包含的特征向量进行相异度计算，得到第二相异度计算结果；

当所述第一相异度计算结果与所述第二相异度计算结果对应项的差值小于预设的分析阈值时，将所述第二簇中心包含的特征向量作为词根，依据所述词根构建字典。

上述的方法，优选的，依据所述各个字典，对所述目标数据进行字典化处理，得到至少一个字典化特征向量包括：