[发明专利]具有修正功能的数据清洗方法、设备和存储介质

说明书

本发明揭示了一种具有修正功能的数据清洗方法、设备和存储介质，所述方法包括：根据预设的更新规则，将每个所述数据表以对应主键ID为索引更新至基础数据库中；其中，所述预设的更新规则包括：在根据主键ID判定待更新的数据表已存入所述基础数据库中，且已存入的数据表中包括有修正字段后，将所述修正字段覆盖所述待更新的数据表对应的字段后，将所述待更新的数据表以覆盖已存入数据表的方式存入所述基础数据库中。与现有技术相比，本发明的具有修正功能的数据清洗方法，在数据清洗的过程中，通过数据合并的方式，将最新的清洗数据和修正后的数据进行合并，从而即保证了对最新的清洗数据的更新，又能确保更新后的清洗数据的正确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种具有修正功能的数据清洗方法、设备和存储介质。

背景技术

在信息大数据时代，对企业的数据进行收集与处理已成为一件必不可少的事情。目前，我们通过采集系统(例如爬虫)采集到的原始数据多为不规整数据，这些数据的格式无法满足我们对数据处理的基本要求，十分不利于后期将数据在页面上进行展示。

因此，现有技术中，会针对上述情况对原始数据进行预处理，转化为后面工作所需要的较为规整的数据，所以这里的数据清洗，其实指的就是对原始数据进行基本的预处理，以使原始数据符合页面展示的标准形式。

但是，当采集系统采集到的原始数据出现错误(例如某个法人之前被限制高消费，但是后续被法院取消了限制，裁判文书已经生效，但是网上的公示文书较慢，所以采集系统采集到的数据还是之前的错误数据)，如何在清洗过程中对上述这种错误数据进行修正，并且修正后的数据不被采集系统新采集到的错误数据重新覆盖，是目前亟待解决的问题。

发明内容

本发明的目的在于提供一种具有修正功能的数据清洗方法、设备和存储介质。

为实现上述发明目的之一，本发明一实施方式提供一种具有修正功能的数据清洗方法，所述方法包括：

将符合预设清洗规则的数据进行字段清洗后，每条数据清洗为带有主键ID的数据表；

根据预设的更新规则，将每个所述数据表以对应主键ID为索引更新至基础数据库中；其中，所述预设的更新规则包括：

在根据主键ID判定待更新的数据表已存入所述基础数据库中，且已存入的数据表中包括有修正字段后，将所述修正字段覆盖所述待更新的数据表对应的字段后，将所述待更新的数据表以覆盖已存入数据表的方式存入所述基础数据库中。

作为本发明一实施方式的进一步改进，所述预设的更新规则还包括：

在根据主键ID判定待更新的数据表已存入所述基础数据库中，且已存入的数据表中不包括有修正字段后，将所述待更新的数据表以覆盖已存入数据表的方式存入所述基础数据库中。

作为本发明一实施方式的进一步改进，所述预设的更新规则还包括：

在根据主键ID判定待更新的数据表没有存入所述基础数据库中后，以对应主键ID为索引将所述待更新的数据表存入所述基础数据库中。

作为本发明一实施方式的进一步改进，所述方法还包括：

根据后端反馈的错误数据，获取所述错误数据对应的数据表的主键ID和所述错误数据在所述数据表中的字段号；

根据所述主键ID和字段号，从所述基础数据库中获取相应的字段内容进行修正并打上修正标记，得到具有修正标记的修正字段；

根据所述主键ID和字段号，从所述基础数据库中获取所述主键ID对应的数据表的其它字段内容，并与所述修正字段进行合并，得到合并数据表；

将所述合并数据表以覆盖原始数据表的方式存入所述基础数据库中。

作为本发明一实施方式的进一步改进，所述“字段清洗”包括：