[发明专利]基于分布并行局部建模机制的岭回归软测量建模方法

说明书

本发明公开了一种基于分布并行局部建模机制的岭回归软测量建模方法，属于工业过程预测与控制领域。该岭回归软测量建模方法是通过建立训练样本集和测试样本集，基于MapReduce框架将训练样本集和测试样本集进行分布式标准化，基于MapReduce框架选取局部训练样本集，建立岭回归模型，并对测试样本预测，重复分布式标准化和对测试样本预测，直至完成所有样本的预测。该岭回归软测量建模方法能够有效地提升基于局部建模机制的岭回归模型的软测量建模速度，解决工业过程中大规模数据下局部建模的不足的问题。

技术领域

本发明属于工业过程预测与控制领域，涉及一种分布式局部建模机制的岭回归软测量建模方法。

背景技术

在实际的工业过程中，很多物理变量很难通过实体传感器进行直接测量，或者测量成本非常高，比如钢水的终点温度等，因此软测量技术应运而生，它是一种间接测量的方法，它通过与待测量变量相关的一些易于测量的变量与待测量变量建立数据模型的方式对待测量变量进行预测。

而目前较为常用的软测量模型主要是基于数据驱动的机器学习模型，它们具有建模方式容易，训练过程简单，预测效果精准等优点而得以广泛应用。而主要使用的机器学习模型主要有岭回归模型，神经网络模型，支持向量机模型，决策树模型，高斯混合模型等。而这些模型主要一些能够完成简单软测量建模的基本模型，但实际的工业过程变量的变化规律将十分复杂，单纯使用这些基本模型难以满足更为复杂的建模需要。

而这些基于数据驱动的软测量基本模型面临的主要实际应用问题主要有过程非线性，数据高维度，数据存在噪声，数据非高斯分布，质量变量缺少，状态漂移与时变，过程动态性以及质量变量采样延迟等，因此需要在基本软测量模型的基础上进行合理的改进，引入更为复杂的建模机制以解决这些实际问题。

在上述实际问题中，状态漂移与时变往往较为棘手，由于设备的故障或人为操作不当等等原因自然会导致所有的物理变量一直维持在同一个状态和分布，变量的状态会随着时间而逐渐漂移，因此事先建立好的软测量模型可能不再适用。而解决这个问题的一个较好的方法是局部建模，它的主要思想是针对每个测试样本在训练样本中选择距离较近的几个样本训练一个子模型对该测试样本进行预测，或者根据测试样本与所有训练样本的距离计算一个权重并为每个训练样本进行加权再进行训练，采用这种建模机制可以不断地针对每个测试样本自适应地调整模型以保障预测精度不变，然而当训练样本规模十分庞大时为每个测试样本计算距离并重新建模将会十分耗时，这也是局部建模亟待解决的问题。

而为了解决大规模数据的运算速度慢的问题，目前很多分布式计算框架应运而生，其中Hadoop的MapReduce框架就是一种非常常用的分布式计算框架，首先它能够将数据存储在分布式文件系统中，然后通过Map操作对分布存储的数据块进行并行处理，并将每条数据都转换为key,value的键值对形式，在Reduce阶段可以将具有相同key的样本都聚集在一个新的数据块中再进行并行处理，这种机制可以充分地发挥多台计算机并行计算的优势有效地提升了运算速度。

发明内容

针对现有工业过程中大规模数据下局部建模的不足，本发明提出了一种基于分布并行局部建模机制的岭回归软测量建模方法，该方法基于MapReduce分布式框架利用数据分块及并行搜索的策略加快选择局部训练集的速度以较快的速度提升岭回归模型的预测精度，使原本属于线性模型范畴的预测性能较差的岭回归模型拥有优于非线性模型的效果。

一种基于分布并行局部建模机制的岭回归软测量建模方法，包括以下步骤：

(1)建立训练样本集，训练样本集中共有n个样本，每个样本具有m个易于测量的过程变量，以及一个需要被估计的质量变量；训练样本集表示为：S_train(x，y)＝{(x_i,y_i)|i＝1,2…,n}，