[发明专利]一种清洗异常数据的方法和装置

权利要求书

1.一种清洗异常数据的方法，其特征在于，包括：

获取历史数据，识别所述历史数据的概率分布种类；

根据所述概率分布种类，确定存在异常数据，以剔除所述历史数据中的异常数据。

2.根据权利要求1所述的方法，其特征在于，所述识别所述历史数据的概率分布种类，包括：

选择备选的至少两种概率分布种类；

根据极大似然估计，以获得每种备选概率分布的参数；

根据所述参数和历史数据，计算每种备选概率分布的K-S统计量，以在所述备选概率分布中选中所述历史数据的概率分布种类。

3.根据权利要求1或2所述的方法，其特征在于，根据所述概率分布种类，确定存在异常数据，包括：

根据所述概率分布种类和历史销量数据，采用最大期望算法，以识别异常数据。

4.根据权利要求3所述的方法，其特征在于，所述采用最大期望算法，以识别异常数据，包括：

获取历史数据的集合S＝{X_i,i＝1,2,3...L}和所述概率分布种类F，其中L为历史数据的天数；

计算集合S中最大数据X_max，以对去除所述最大数据X_max的集合S计算极大似然估计，获得基线数据的累计概率分布F(x；θ)中的参数θ；

确定X_max不满足则X_max为异常数据，剔除集合S中的X_max，计算集合S中新的最大数据X_max，直至X_max满足其中为F(θ)的1-α分位数，α为0.05或0.01。

5.一种清洗异常数据的装置，其特征在于，包括：

分布识别模块，用于获取历史数据，识别所述历史数据的概率分布种类；

异常识别模块，用于根据所述概率分布种类，确定存在异常数据，以剔除所述历史数据中的异常数据。

6.根据权利要求5所述的装置，其特征在于，所述分布识别模块识别所述历史数据的概率分布种类时，包括：

选择备选的至少两种概率分布种类；

根据极大似然估计，以获得每种备选概率分布的参数；

根据所述参数和历史数据，计算每种备选概率分布的K-S统计量，以在所述备选概率分布中选中所述历史数据的概率分布种类。

7.根据权利要求5或6所述的装置，其特征在于，所述异常识别模块根据所述概率分布种类确定存在异常数据时，包括：

根据所述概率分布种类和历史数据，采用最大期望算法，以识别异常数据。

8.根据权利要求6所述的装置，其特征在于，所述异常识别模块采用最大期望算法以识别异常数据时，还包括：

获取历史数据的集合S＝{X_i,i＝1,2,3...L}和所述概率分布种类F，其中L为历史销量数据的天数；

计算集合S中最大数据X_max，以对去除所述最大数据X_max的集合S计算极大似然估计，获得基线数据的累计概率分布F(x；θ)中的参数θ；

确定X_max不满足则X_max为异常数据，剔除集合S中的X_max，计算集合S中新的最大数据X_max，直至X_max满足其中为F(θ)的1-α分位数，α为0.05或0.01。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。