[发明专利]关系型数据的标签清洗方法、装置、设备及存储介质

权利要求书

1.一种关系型数据的标签清洗方法，其特征在于，包括：

从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；

计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；

采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；

根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。

2.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集，包括：

获取所述关系型特征标签集中每一关系型特征标签；

判断每一所述关系型特征标签的关系型变量值的数据类型；

若所述关系型特征标签的所述关系型变量值的数据类型为连续型，则采用预设的异常值计算公式，确定所述关系型特征标签中的异常值；

若所述关系型特征标签的所述关系型变量值的数据类型为离散型，则根据所述关系型特征标签获取对应的筛选标准，并根据所述筛选标准确定所述关系型特征标签中的异常值；

计算每一所述关系型特征标签中所述异常值在对应的所述关系型变量值中的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集。

3.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集，包括：

采用如下公式计算所述关系型特征标签集中每一关系型特征标签的信息量值IV:

其中，r为关系型特征标签所取值的类别个数，n_i0为关系型特征标签取第i个值，对应可选变量为0的个数，n_*0为所有可选变量取值为0的个数，n_i1为标签取第i个值，对应可选变量为1的个数，n_*1为所有可选变量取值为1的个数；

将每一所述关系型特征标签的所述信息量值IV与预设的信息量阈值进行比较；

提取出所述信息量值IV大于所述信息量阈值的关系型特征标签，组成第三特征标签集。

4.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集，包括：

将所述关系型特征标签集中的每一关系型特征标签输入预设的梯度提升决策模型中进行训练，根据每一所述关系型特征标签在所述梯度提升决策模型的每颗树中的重要性平均值，确定每一所述关系型特征标签的重要性度量值；

将每一所述关系型特征标签的所述重要性度量值与预设的重要性度量阈值进行比较；

提取出所述重要性度量值大于所述重要性度量阈值的关系型特征标签，组成第四特征标签集。

5.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集，包括：

对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合，得到初始特征标签集合；

统计所述初始特征标签集合中每一类型的初始特征标签的标签数量；

提取出所述标签数量大于预设阈值的初始特征标签，组成目标关系型标签集。