[发明专利]一种结构化数据的清洗方法、装置、电子设备及存储介质

权利要求书

1.一种结构化数据的清洗方法，其特征在于，所述方法包括：

在当前待清洗的结构化数据中提取出至少一个键值对数据；

获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；

按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；

采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

2.根据权利要求1所述的方法，其特征在于，所述采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据，包括：

若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

3.根据权利要求1所述的方法，其特征在于，所述按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵，包括：

将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；

按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

4.根据权利要求1所述的方法，其特征在于，所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据，包括：

若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

若各个键值对数据对应的对象数据为多个语义项的对象数据，基于条件随机场模型CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

5.一种数据清洗装置，其特征在于，所述装置包括：提取模块、检测模块、第一清洗模块和第二清洗模块；其中，

所述提取模块，用于在当前待清洗的结构化数据中提取出至少一个键值对数据；

所述检测模块，用于获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

所述第一清洗模块，用于若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

所述第二清洗模块，用于采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

6.根据权利要求5所述的装置，其特征在于：

所述第二清洗模块，具体用于若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。