[发明专利]用于能源大数据的跨时空双向数据缺失值填充方法和装置

说明书

本发明提供了一种用于能源大数据的跨时空双向数据缺失值填充方法和装置，该方法包括：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据第二数据表计算各特征的平均值和中值；采用0值、平均值和中值对第一数据表中各特征对应列的缺失值进行填充，将填充后的第三数据表、第四数据表和第五数据表插入第二数据表，形成第六数据表、第七数据表和第八数据表；将第六数据表、第七数据表和第八数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集、第二训练数据集和第二交叉验证数据集以及第三训练数据集和第三交叉验证数据集，并对目标神经网络进行训练，以获取预测模型。

技术领域

本发明涉及数据处理技术领域，具体涉及一种用于能源大数据的跨时空双向数据缺失值填充方法和一种用于能源大数据的跨时空双向数据缺失值填充装置。

背景技术

相关技术中，在对数据集进行分析和挖掘时，由于数据存在缺失的情况，因此在数据集输入机器学习模型和深度学习模型进行训练时会造成模型无法正常工作，从而导致数据分析和挖掘工作无法正常运行。

发明内容

本发明为解决上述技术问题，提供了一种用于能源大数据的跨时空双向数据缺失值填充方法，能够对数据集的缺失值进行准确地填充，确保了数据分析和挖掘工作的正常进行。

本发明采用的技术方案如下：

一种用于能源大数据的跨时空双向数据缺失值填充方法，包括以下步骤：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据所述第二数据表计算各特征的平均值和中值；分别采用0值、所述平均值和所述中值对所述第一数据表中各特征对应列的缺失值进行填充，以形成第三数据表、第四数据表和第五数据表；分别将所述第三数据表、所述第四数据表和所述第五数据表插入所述第二数据表中，以形成第六数据表、第七数据表和第八数据表；将所述第六数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集，并将所述第七数据表按照50％比例以时间为作为键值拆分为第二训练数据集和第二交叉验证数据集，以及将所述第八数据表按照50％比例以时间为作为键值拆分为第三训练数据集和第三交叉验证数据集；根据所述第一训练数据集、所述第一交叉验证数据集、所述第二训练数据集、所述第二交叉验证数据集、所述第三训练数据集和所述第三交叉验证数据集对目标神经网络进行训练，以获取预测模型；采用所述预测模型对待填充数据集进行预测，以获取目标检测数据集。

所述根据所述第一训练数据集、所述第一交叉验证数据集、所述第二训练数据集、所述第二交叉验证数据集、所述第三训练数据集和所述第三交叉验证数据集对目标神经网络进行训练，以获取预测模型，包括：根据所述第一训练数据集对所述目标神经网络进行训练，以获取第一目标模型，并分别采用所述第二交叉验证数据集和所述第三交叉验证数据集进行验证，以获取所述第一目标模型的第一MAE指标和第二MAE指标；根据所述第二训练数据集对所述目标神经网络进行训练，以获取第二目标模型，并采用所述第一交叉验证数据集和所述第三交叉验证数据集进行验证，以获取所述第二目标模型的第三MAE指标和第四MAE指标；根据所述第三训练数据集对所述目标神经网络进行训练，以获取第三目标模型，并采用所述第一交叉验证数据集和所述第二交叉验证数据集进行验证，以获取所述第三目标模型的第五MAE指标和第六MAE指标；分别计算所述第一MAE指标和所述第二MAE指标的第一平均值、所述第三MAE指标和所述第四MAE指标的第二平均值以及所述第五MAE指标和所述第六MAE指标的第三平均值；比较所述第一平均值、所述第二平均值和所述第三平均值的大小，并将最大的平均值对应的目标模型作为所述预测模型。