[发明专利]关系型数据的标签清洗方法、装置、设备及存储介质

说明书

本发明公开了一种关系型数据的标签清洗方法、装置、设备及存储介质，通过从关系型数据库中提取目标关系型数据，计算关系型特征标签集的数据饱和度，将关系型特征标签集中数据饱和度小于饱和度阈值的关系型特征标签剔除；计算关系型特征标签集中的异常占比值，提取出异常占比值小于异常占比阈值的关系型特征标签；计算关系型特征标签集的信息量值，提取出信息量值大于信息量阈值的关系型特征标签；采用预设的决策树模型确定关系型特征标签集的重要性度量值，提取出重要性度量值大于重要性度量阈值的关系型特征标签；最后根据预设策略对生成的关系型特征标签进行整合处理；从而提高了对目标关系型数据进行标签筛选的准确性。

技术领域

本发明涉及数据处理领域，尤其涉及一种关系型数据的标签清洗方法、装置、设备及存储介质。

背景技术

随着计算机技术的日益发展，各种类型的数据库随之不断发展。目前比较常见的数据库主要包括有关系型数据库和非关系型数据库。不同类型的数据库具有不同的优势，虽然非关系数据库因具有灵活的可扩展性，且允许创建许多不同类型的非结构化的或任意格式的字段等优势，越来越受到开发者的欢迎，但也由于技术的不成熟，存在事务处理能力弱、没有完整性约束，且对于复杂业务场景支持较差等缺陷。因此很多技术开发者在处理数据时依旧会选择传统的关系型数据库。传统的关系型数据库具有查询灵活、容易保持数据的一致性的优点，但是对关系型数据进行标签筛选时大部分都是采用大量的专家经验对数据标签进行分析，业务专家结合自己的经验筛选出符合要求的目标关系型数据。然而，采用专家经验进行标签筛选往往对人工依赖过多，且当关系型数据量较大时人工处理速度有限，对关系型数据进行标签筛选的准确性较低。

发明内容

本发明实施例提供一种关系型数据的标签清洗方法、装置、计算机设备及存储介质，以解决对关系型数据进行标签筛选的准确性较低问题。

一种关系型数据的标签清洗方法，包括：

从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；

采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；

根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。

一种关系型数据的标签清洗装置，包括：

第一提取模块，用于从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；

第一数据饱和度计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；

第一异常占比值计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；

第一信息量值计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；