[发明专利]具有修正功能的数据清洗方法、设备和存储介质

权利要求书

1.一种具有修正功能的数据清洗方法，其特征在于，所述方法包括：

将符合预设清洗规则的数据进行字段清洗后，每条数据清洗为带有主键ID的数据表；

根据预设的更新规则，将每个所述数据表以对应主键ID为索引更新至基础数据库中；其中，所述预设的更新规则包括：

在根据主键ID判定待更新的数据表已存入所述基础数据库中，且已存入的数据表中包括有修正字段后，将所述修正字段覆盖所述待更新的数据表对应的字段后，将所述待更新的数据表以覆盖已存入数据表的方式存入所述基础数据库中。

2.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述预设的更新规则还包括：

在根据主键ID判定待更新的数据表已存入所述基础数据库中，且已存入的数据表中不包括有修正字段后，将所述待更新的数据表以覆盖已存入数据表的方式存入所述基础数据库中。

3.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述预设的更新规则还包括：

在根据主键ID判定待更新的数据表没有存入所述基础数据库中后，以对应主键ID为索引将所述待更新的数据表存入所述基础数据库中。

4.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述方法还包括：

根据后端反馈的错误数据，获取所述错误数据对应的数据表的主键ID和所述错误数据在所述数据表中的字段号；

根据所述主键ID和字段号，从所述基础数据库中获取相应的字段内容进行修正并打上修正标记，得到具有修正标记的修正字段；

根据所述主键ID和字段号，从所述基础数据库中获取所述主键ID对应的数据表的其它字段内容，并与所述修正字段进行合并，得到合并数据表；

将所述合并数据表以覆盖原始数据表的方式存入所述基础数据库中。

5.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述“字段清洗”包括：

对每条数据中的各个字段进行清洗，使各个字段的展现形式符合页面展示的标准形式。

6.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述方法还包括：

获取待清洗数据，判断所述待清洗数据是否符合预设清洗规则；所述预设清洗规则是指每条数据包括指定的N个字段，所述N为正整数。

7.根据权利要求1所述具有修正功能的数据清洗方法，其特征在于，所述方法还包括：

将所述基础数据库中的数据进行业务清洗，并将业务清洗后的数据更新至业务数据库中；

以日志同步的方式，将所述业务数据库中的更新数据同步至线上数据库中。

8.根据权利要求7所述具有修正功能的数据清洗方法，其特征在于，所述“将所述基础数据库中的数据进行业务清洗，并将业务清洗后的数据更新至业务数据库中”包括：

从所述基础数据库中获取与具体业务具有关联关系的数据表，提取所述数据表中与所述具体业务具有关联关系的字段，将只包括有关联关系的字段的数据表存入对应业务的业务数据库中。

9.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述具有修正功能的数据清洗方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述具有修正功能的数据清洗方法中的步骤。