[发明专利]一种数据清洗方法、装置、计算机设备和存储介质

权利要求书

1.一种数据清洗方法，其特征在于，包括：

从待清洗数据中查找与预设特征值匹配的特征数据，所述特征值为根据无效数据所生成的值；

计算所述特征数据的置信度；

当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据进行清洗，得到清洗后的数据。

2.根据权利要求1所述的方法，其特征在于，所述计算所述特征数据的置信度，包括：

获取所述特征数据的第一参考数据；

基于所述第一参考数据计算所述特征数据的至少一个置信度；

和/或，

将所述特征数据输入数据检测模型中确定所述特征数据的置信度。

3.根据权利要求1所述的方法，其特征在于，在所述当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据清洗，得到清洗后的数据之前，还包括：

根据所述置信度判断所述特征数据是否为无效数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述置信度判断所述特征数据是否为无效数据，包括：

若所述置信度的数量为多个，对所述置信度加权求和得到所述特征数据的总评分；

在所述总评分大于预设值时确定所述特征数据为无效数据；

在所述总评分小于预设值时确定所述特征数据为有效数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据清洗，得到清洗后的数据，包括：

获取确定为无效数据的所述特征数据的时间戳；

统计所述时间戳下确定为无效数据的特征数据的总数量；

判断所述总数量是否大于预设数量；

若是，删除所述时间戳下的所有数据；

若否，确定目标数据；

采用所述目标数据替换确定为无效数据的所述特征数据。

6.根据权利要求5所述的方法，其特征在于，所述确定目标数据，包括：

获取与所述时间戳间隔时长在预设时长内的、与所述特征数据同类型的数据作为第二参考数据；

根据所述第二参考数据和预设填补算法计算目标数据。

7.根据权利要求5所述的方法，其特征在于，所述预设填补算法为均值填补法、中位数填补法、众数填补、热卡填补法、最近距离决定填补法、回归填补法、多重填补方法、基于贝叶斯方法中的一种。

8.一种数据清洗装置，其特征在于，包括：

特征数据查找模块，用于从待清洗数据中查找与预设特征值匹配的特征数据，所述特征值为根据无效数据所生成的值；

置信度计算模块，用于计算所述特征数据的置信度；

无效数据清洗模块，用于当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据清洗，得到清洗后的数据。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，

当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的数据清洗方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据清洗方法。