[发明专利]一种厌氧数学建模过程缺失数据的预处理方法

说明书

技术领域

本发明涉及厌氧消化领域数学建模预测沼气产气速率和产气量，实现厌氧消化过程关键参数的软件传感，具体涉及一种厌氧数学建模过程缺失数据的预处理方法。 

背景技术

在厌氧沼气工程运行过程中，由于通讯中断、信号干扰、传感器故障或者人为误操作会造成一些监测数据的缺失。管理者和技术支持者希望通过对缺失数据的计算与分析，能够准确地评估系统运行效率，通过数学建模预测产气过程和关键指标的软件传感。如，在进行产气异常智能分析建模时，时间、进水量、产气量等指标的数据质量直接影响到模型的结果精度与评价标准，因此，对数据进行预处理就显得非常重要。 

缺失值是造成脏数据的主要因素之一，是对以数据挖掘为主要手段的数学处理方法应用的巨大威胁。数据缺失造成的影响主要有：系统丢失了大量的有用信息；系统中表现出的不确定性更加显著，系统中蕴含的确定性成分更难把握；包含空值的数据会使挖掘过程陷入混乱，导致不可靠的输出。因此，没有高质量的数据，就没有高质量的挖掘结果，也就没有高质量的决策。对缺失值进行插补是处理缺失数据、提高数据质量的方法之一。可能值插补缺失值的思想来源于以最可能的值来插补缺失值比全部删除不完全样本所产生的信息丢失要少。在数据挖掘中，面对的通常是大型的数据库，它的属性有几十个甚至几百个，因为一个属性值的缺失而放弃大量的其他属性值，这种删除是对信息的极大浪费，所以产生了以可能值对缺失值进行插补的思想和方法。对缺失数据的预处理，通常是采用基于加权平均值的方法进行数据补齐，即用某段时间内的数据加权平均得到缺损值，对于很多情况，补值效果并不理想，因而这种方法具有很大的局限性。 

基于以上所述，针对规模化沼气运行过程中的一些产气量无法正常采集，如果丢失这部分数据，将影响产气量的计算结果，最终导致产气率数据误差很大。为了达了较好的建模和分析效果，需要对厌氧消化过程指标数据进行预处理，即需通过合适算法对缺失数据进行补齐，之后再算出厌氧消化过程的产气率。 

本发明针对用户在厌氧消化建模过程的缺失数据进行分析，而挖掘目标是实现不完整数据到完整数据，有效地完备了数据，从而使模型构建得更精确，预测效果更好。 

发明内容

数据分组处理算法是一种自组织的数据挖掘算法，用到了自组织数据挖掘主要原理。本发明通过数据分组处理算法对缺失值前后5个共10个数据为一组的进水量和产气量数据进行插补，从而实现对酒精废水产气量缺失数据的预处理。 

方法包括以下步骤：首先将导入的原始数据分组，再确定因变量和自变量，剔除组里的 缺失值并将剩下数据依次排序，然后基于拉格朗日插值算法确定插值模型，再将缺失数据依次进行插补。然后往下一组同理处理，直到所有组数据处理完。 

所述的厌氧消化建模过程缺失数据的预处理方法，其特征在于，所述的基于拉格朗日算法对缺失值逼近插值，在结点上给出结点基函数，然后做基函数的线性组合，组合系数为结点函数值，构造多项式逼近原函数，从而插值逼近缺失值，直到完备所有数据。且拉格朗日算法容易实现和操作，结果插值逼近地较精准。 

基于拉格朗日算法，本技术用JAVA代码实现数据缺失值插补的全自动化处理，并将它完备为一个数据处理平台。(算法伪代码见附件1) 

所述的预处理方法步骤： 

(1)导入两组相关属性数据并确定自变量和因变量： 

X_n＝{x₀，x₁，……，x_i，……，x_n} 

Y_n＝{y₀，y₁，……，y_i，……，y_n} 

然后提取缺失值{x_i，y_i}前后5个数据组为一组： 

X_n-1＝{x_i-5，x_i-4，x_i-3，x_i-2，x_i-1，x_i，x_i+1，x_i+2，x_i+3，x_i+4，x_i+5}