[发明专利]一种提高大数据处理质量的方法

说明书

技术领域

本发明属于大数据处理及数据挖掘问题领域，更具体地，涉及一类提高数据分析速度和数据分析质量的数据处理技术。

背景技术

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。计算机领域的发展，以及国际互联网络的出现，为求解大规模数据的优化问题提供了方便。进入21世纪以来，求解大规模优化问题的算法设计以及理论创新已受到各研究领域专家的广泛关注。如何将大数据的分析和处理问题转化为求解规模庞大的数值优化问题，以及如何求解大规模的优化问题是当下各领域研究者关注的重点之一。而早先的关于求解优化问题的工作主要集中于已有迭代算法中参数的选取，通过选取不同参数值得到了一些较为经典的数值优化算法，至今仍被广泛应用的有著名的梯度下降法、牛顿法等方法。然而在数值优化算法中，算法的收敛速率是衡量该算法优劣的重要指标，因此如何加快算法的收敛速率显得尤为重要。实质上，当求解大规模的优化问题时，初始迭代计算的约束是至关重要的

大数据具有数据体量巨大、数据类型繁多、价值密度低、处理速度快等特点，研究求解大规模数据分析问题的具有计算简便、存储需求量小的高效率的算法具有十分重要的理论和实际意义。如何快速且高效的从各种各样类型的数据中，快速获得有价值信息，是大数据处理的首要目标之一。而数据处理的本质，等价于既快速又高效的求解最优化的问题。

实际上，最优化这一概念是无处不在的，因此作为达到最优的一种手段的最优化方法，应该是而且确实也是变化无穷的。运筹学中所处理的问题绝大部分都是最优化问题。用来解决这些问题的方法，例如数学规划、排队论、决策分析、模拟技术等等，自然也就属于最优化方法这一范畴。除此之外，最优化还包括工程控制、最优控制、系统科学等。其中最优控制主要用于对各种控制系统的优化，例如，导弹系统的最优控制，能保证用最少燃料完成飞行任务，用最短时间达到目标；再如飞机、船舶、电力系统等的最优控制，化工、冶金等工厂的最佳工况的控制。计算机接口装置不断完善和优化方法的进一步发展，还为计算机在线生产控制创造了有利条件。最优控制的对象也将从对机械、电气、化工等硬件系统的控制转向对生态、环境以至社会经济系统的控制。

最优化方法讨论的是决策问题的最佳选择之特性，构造寻求最优解的计算方法，研究这些计算方法的理论性质及实际计算表现。伴随着计算机的高速发展和优化计算方法的进步，较大规模的优化问题得到解决。因为最优化问题广泛见于经济计划、工程设计、生产管理、交通运输、国防等重要领域，它已受到政府部门、科研机构和产业部门的高度重视。面对数据规模庞大等特点，现有的求解优化问题的数值算法无论是收敛速度，还是运行时间及运行内存等方面，均不能满足大数据处理的要求。

现有的处理优化问题的算法有很多，但主要还是较为经典的梯度下降法、牛顿法和拟牛顿法，下面简称含有梯度项的数值方法为梯度类方法。

i)梯度下降法：

梯度下降法是一种最优化算法，是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不再具有较强的实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为 搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

ii)牛顿法：

牛顿法是求解优化问题(1.1)的古老而有效的方法，相较于其他的求解无约束问题的方法，该方法在找到最优点时需要较少的迭代次数、函数值计算次数。古典的牛顿法的一个显著的优点是其局部二次收敛性，然而牛顿法成功的关键是利用了海塞Hesse矩阵提供的曲率信息，牛顿法要求计算目标函数的二阶导数，并且当迭代点远离问题的解时，函数f的Hesse矩阵可能不正定甚至奇异，此时牛顿法失败。

iii)拟牛顿法：

由上述牛顿法计算Hesse矩阵的工作量较大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出，拟牛顿法就是构造出目标函数的曲率近似，且不需要明显形式的Hesse矩阵，同时具有收敛速度快的有点。

考虑如下应用最广泛的拟牛顿法：L-BFGS方法

首先，假设目标函数f(x)是二阶连续可微的，利用Taylor展开可得

其中X(k+1)＝X(k)+α_kd_k，d_k＝-H_k▽f(X(k))。构造▽²f(X(k))的合适的逼近矩阵B_k，使得如下等式成立