[发明专利]一种基于概率分布的异常数据处理方法及装置

说明书

本发明提供一种基于概率分布的异常数据处理方法及装置，所述方法包括：对目标数据集合中的正常数据进行分组；根据所述正常数据和分组结果，获取所述目标数据集合的概率分布；根据所述概率分布和所述目标数据集合中异常数据的个数，生成随机数，并使用所述随机数替换所述异常数据。本发明实现根据正常值的概率分布对异常数据进行处理，从而保持目标数据集合的整体分布特性，更改后的异常数据更接近实际数据，提高了数据的准确性，增强了数据的有效性，从而提高模型训练的准确性。

技术领域

本发明属于数据预处理技术领域，更具体地，涉及一种基于概率分布的异常数据处理方法及装置。

背景技术

异常数据是指超出标准及超出趋势以外的数据或异常测试过程中产生的数据。例如，仪器设备停机、人为差错、装置适应性不合格，以及样品或样品溶液异常等很容易导致异常数据的产生。

异常数据处理是一种数据预处理方法。在进行模型训练之前，通常对用于模型训练的数据集合进行预处理，合理的预处理可以去除数据集合中较大的噪声，从而提高模型训练的准确性。现有技术中，在找出数据集合中的异常数据后，对异常数据进行处理的方法有手动修正、将异常数据直接删除，以及使用最小值、最大值或平均值的方法对异常值进行赋值。例如，在逻辑回归算法的指标离散分组划分中，首先对筛选出的样本数据进行分组划分，完成指标分组划分后，将异常数据用样本数据中的最大值、最小值或平均值对异常值进行赋值。当异常数据在数据集合中的比例较大时，现有的异常数据处理方法破坏了数据的整体分布，从而影响模型训练的准确性。

发明内容

为克服上述现有的异常数据处理方法破坏数据的整体分布，从而影响模型训练的准确性的问题或者至少部分地解决上述问题，本发明提供一种基于概率分布的异常数据处理方法及装置。

根据本发明的第一方面，提供一种基于概率分布的异常数据处理方法，包括：

对目标数据集合中的正常数据进行分组；

根据所述正常数据和分组结果，获取所述目标数据集合的概率分布；

根据所述概率分布和所述目标数据集合中异常数据的个数，生成随机数，并使用所述随机数替换所述异常数据。

根据本发明第二方面提供一种基于概率分布的异常数据处理装置，包括：

分组模块，用于对目标数据集合中的正常数据进行分组；

获取模块，用于根据所述正常数据和分组结果，获取所述目标数据集合的概率分布；

生成模块，用于根据所述概率分布和所述目标数据集合中异常数据的个数，生成随机数，并使用所述随机数替换所述异常数据。

根据本发明的第三方面，提供一种电子设备，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如前所述的方法。

根据本发明的第四方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如前所述的方法。

本发明提供一种基于概率分布的异常数据处理方法及装置，该方法通过对目标数据集合中的正常数据进行分组，根据分组结果和正常数据获取数据的整体概率分布，根据概率分布和异常数据的个数生成随机数，用随机数对异常值进行赋值，实现根据正常值的概率分布对异常数据进行处理，从而保持目标数据集合的整体分布特性，更改后的异常数据更接近实际数据，提高了数据的准确性，增强了数据的有效性，从而提高模型训练的准确性。

附图说明