[发明专利]一种结构化数据的清洗方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种结构化数据的清洗方法、装置、电子设备及存储介质。所述方法包括：在当前待清洗的结构化数据中提取出至少一个键值对数据；采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种结构化数据的清洗方法、装置、电子设备及存储介质。

背景技术

现有技术中的数据可以划分为：结构化数据、非结构化数据和半结构化数据；其中，结构化数据是指拥有严格的固定结构的数据，可以使用关系型数据库来表示和存储，如MySQL、Oracle、SQL Server等数据库中存储的数据，每个结构化数据可以包括多个属性，并且每个属性拥有固定的字段格式。非结构化数据是没有固定结构的数据，无法使用关系型数据库来表示和存储，如办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等，一般直接整体进行存储，而且一般存储为二进制的数据格式。半结构化数据是指拥有不严格的固定结构的数据，每个半结构化数据可以包括多个属性，有的属性拥有固定的字段格式，但是有的属性没有固定的字段格式。

在现有技术中，结构化数据的清洗方法通常包括以下两种：第一、垂类的数据清洗，该方法主要针对结构化数据中的单个属性制定相应的策略规则进行清洗。这种方式有利于针对某一方向的数据有针对性地调整清洗策略，但耗时较长。第二、先进行通用清洗，再基于特定的属性进行清洗。例如，先进行乱码字符的转换或者重复值的删除；然后再进行URL的合法性校验或者日期格式的转换。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在现有的第一类数据清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；在现有的第二类数据清洗方法中，不同类型的产品对于结构化数据的规范化需求不一致，例如，应用类产品仅仅需要结构化数据在文本意义上“可用可读”；而有些产品则需要结构化数据严格按照特定的数据类型进行约束，将其转化为特定的数据结构，由于对结构化数据“是否规范”的定义模糊不清，所以清洗结果质量参差不齐，可用性差。

发明内容

有鉴于此，本发明实施例提供一种结构化数据的清洗方法、装置、电子设备及存储介质，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本。

第一方面，本发明实施例提供了一种结构化数据的清洗方法，所述方法包括：

在当前待清洗的结构化数据中提取出至少一个键值对数据；

采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，所述采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据，包括：

若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，在所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据之前，所述方法还包括：

获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；

按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；