[发明专利]一种清洗异常数据的方法和装置

说明书

本发明公开了清洗异常数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取历史数据，识别所述历史数据的概率分布种类；根据所述概率分布种类，确定存在异常数据，以剔除所述历史数据中的异常数据。该实施方式能够解决现有技术中受到异常数据的影响，导致补货量偏大，造成商品周转变大占用资金成本的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种清洗异常数据的方法和装置。

背景技术

目前，供应链管理是企业管理的核心，尤其是对于电商行业。在供应链管理中补货是十分重要的一个环节，补货量多少取决于对商品未来销量的预测。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：对商品未来销量进行预测时，考虑的一大因素是商品的历史销量，然而历史销量中，由于存在促销、节假日等影响，商品往往会在个别天中出现明显大于平常的异常高销量，尤其是在电商企业，异常高销量可以达到平常的好几倍。在做预测时，必须想办法剔除这些异常销量，否则在预测模型中会受到这些异常销量的影响，导致补货量偏大，造成商品周转变大占用资金成本，甚至是滞销。

发明内容

有鉴于此，本发明实施例提供一种清洗异常数据的方法和装置，能够解决现有技术中受到异常数据的影响，导致补货量偏大，造成商品周转变大占用资金成本的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种清洗异常数据的方法，包括获取历史数据，识别所述历史数据的概率分布种类；根据所述概率分布种类，确定存在异常数据，以剔除所述历史数据中的异常数据。

可选地，所述识别所述历史销量数据的概率分布种类，包括：选择备选的至少两种概率分布种类；根据极大似然估计，以获得每种备选概率分布的参数；根据所述参数和历史数据，计算每种备选概率分布的K-S统计量，以在所述备选概率分布中选中所述历史数据的概率分布种类。

可选地，根据所述概率分布种类，确定存在异常数据，包括：根据所述概率分布种类和历史数据，采用最大期望算法，以识别异常数据。

可选地，所述采用最大期望算法，以识别异常数据，包括：获取历史数据的集合S＝{X_i,i＝1,2,3...L}和所述概率分布种类F，其中L为历史数据的天数；计算集合S中最大数据X_max，以对去除所述最大数据X_max的集合S计算极大似然估计，获得基线数据的累计概率分布F(x；θ)中的参数θ；确定X_max不满足则X_max为异常数据，剔除集合S中的X_max，计算集合S中新的最大数据X_max，直至X_max满足其中为F(θ)的1-α分位数，α为0.05或0.01。

另外，根据本发明实施例的一个方面，提供了一种清洗异常数据的装置，包括分布识别模块，用于获取历史数据，识别所述历史数据的概率分布种类；异常识别模块，用于根据所述概率分布种类，确定存在异常数据，以剔除所述历史数据中的异常数据。

可选地，所述分布识别模块识别所述历史数据的概率分布种类时，包括：选择备选的至少两种概率分布种类；根据极大似然估计，以获得每种备选概率分布的参数；根据所述参数和历史数据，计算每种备选概率分布的K-S统计量，以在所述备选概率分布中选中所述历史数据的概率分布种类。

可选地，所述异常识别模块根据所述概率分布种类确定存在异常数据时，包括：根据所述概率分布种类和历史数据，采用最大期望算法，以识别异常数据。