[发明专利]基于遗传算法的数据填补方法、装置、设备及存储介质

说明书

本申请实施例涉及数据处理技术领域，具体涉及一种基于遗传算法的数据填补方法、装置、设备及存储介质，旨在提高缺失数据填补的填补质量。所述方法包括：读取缺失数据集；设置多条染色体，通过混沌映射和启发式信息对所述多条染色体进行初始化，得到多条初始化染色体；通过初始化染色体对缺失数据集进行数据填补以及特征选择，得到多个筛选后的数据集；对多个筛选后的数据集进行适应度评估，得到每条染色体的适应度值；根据每条染色体的适应度值，选择父本并生成后代染色体；迭代生成多代染色体，直至得到最优染色体；根据所述最优染色体，生成对应的数据填补模型；通过所述数据填补模型进行数据填补，得到数据填补结果。

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种基于遗传算法的数据填补方法、装置、设备及存储介质。

背景技术

数据挖掘技术是一项热点技术，通过该技术可以从海量的数据中提取出有用的信息。数据挖掘通常需要使用到分类器，而分类器需要使用高质量的数据集进行训练，如果数据的质量太低，就会影响分类器的性能，影响数据挖掘的效果，提取到无用信息，忽略到有用信息。在获取数据集时，数据的采集、存储等阶段不可避免的会发生损耗，从而出现数据集中的数据缺失，数据缺失的情况不可避免存在于收集到的数据集中，如果直接忽略掉缺失的数据，可能会导致潜在的有价值信息的重大损失，因此需要对数据集进行数据填补。现有的数据填补方法通过基于距离的方法对数据进行填补，即通过寻找与缺失数据集中已有的特征距离相近的特征进行填补。

现有技术中使用基于距离的方法对数据进行填补，没有区分不同数据类型的特征，没有充分利用特征的分布和概率信息，使得数据趋于一致而丧失多样性，填补的数据也会出现偏差过大的情况，不能满足现有的数据挖掘对数据质量的要求。

发明内容

本申请实施例提供一种基于遗传算法的数据填补方法、装置、设备及存储介质，旨在提高缺失数据填补的填补质量。

本申请实施例第一方面提供一种基于遗传算法的数据填补方法，所述方法包括：

读取缺失数据集，所述缺失数据集中包含连续型数据与枚举型数据；

设置多条染色体，通过混沌映射和启发式信息对所述多条染色体进行初始化，得到多条初始化染色体；

基于所述多条初始化染色体中的每条初始化染色体，分别对所述缺失数据集进行数据填补，得到多个填补后的数据集；

对所述多个填补后的数据集进行特征选择，得到多个筛选后的数据集；

对所述多个筛选后的数据集进行适应度评估，得到所述多条初始化染色体中的每条初始化染色体的适应度值；

根据所述每条初始化染色体的适应度值，通过所述多条初始化染色体生成多条后代染色体；

迭代执行上述数据填补、适应度评估以及后代染色体生成步骤，当满足迭代退出条件时，退出迭代，得到最优染色体；

根据所述最优染色体，生成对应的数据填补模型；

通过所述数据填补模型进行数据填补，得到数据填补结果。

可选地，基于所述多条初始化染色体中的每条初始化染色体，分别对所述缺失数据集进行数据填补，包括：

针对所述多条初始化染色体中的每条初始化染色体，使用染色体映射模型对所述初始化染色体进行映射，得到用于填补所述连续型数据的均值与标准差以及用于填补枚举型数据的取值概率；

根据所述均值与标准差生成正态分布模型，通过所述正态分布模型对所述缺失数据集中的连续型数据进行数据填补；

根据所述取值概率，通过轮盘赌方法对所述缺失数据集中的枚举型数据进行数据填补。

可选地，对所述多个填补后的数据集进行特征选择，得到多个筛选后的数据集，包括：