[发明专利]一种提高大数据处理质量的方法

权利要求书

1.一种提高大数据处理质量的方法，其特征在于，包括如下步骤：

(1)根据收集到的数据特性，对要优化数据进行分析：如果数据处理问题是否是求解函数的最小值优化问题：是则转步骤(2)；否则，通过对数据的正则化处理，转化为求解最小值优化问题，转步骤(2)；

(2)建立最小值优化模型其中Rⁿ为实数域的n维向量，f(X)为目标函数，是一个二次连续可微的非线性函数，X为n维向量；

(3)选取梯度类优化方法，所述方法包括梯度下降法、牛顿法和L-BFGS方法；具体根据选取的优化方法，引入Powerball函数，建立Powerball迭代公式，进行迭代；所述Powerball函数表达式σ_γ(z)＝sign(z)|z|^γ，γ∈(0,1)为Power系数，z∈R；

对于梯度下降法，对应的Powerball迭代公式为：

对于牛顿法，对应的Powerball迭代公式为：

X(k+1)＝X(k)-(▽²f(X(k)))^-1σ_γ(▽f(X(k)))；

对于L-BFGS方法，对应的Powerball迭代公式为：

其中，是目标函数的Hesse矩阵的逼近矩阵，与Hesse矩阵有相同的维数；S_k＝X(k+1)-X(k)，是与X(k)有相同的维数的向量；X(k+1)＝X(k)+α_kd_k，Y_k＝▽f(X(k+1))-▽f(X(k))，即

式中，▽f(X)为目标函数f(X)的梯度；▽²f(X)为目标函数f(X)的Hesse矩阵；k是迭代次数，取值为0，1，2，……，α_k为第k次迭代时的步长，X(k) 为第k次迭代得到的逼近值；当k＝0时，B_k初值取为单位矩阵，X(k)的初值X(0)可任意选取；σ_γ(·):R→R为Powerball函数σ_γ对目标函数梯度的非线性变换即Powerball变换；

(4)判断收敛性，具体判断方法如下：

当目标函数是强凸函数，且其梯度满足L-Lipschitz条件时，则判别迭代次数是否大于N；是则迭代结束，输出最优值X(k+1)；否则继续迭代；

当目标函数不是强凸函数，或其梯度不满足L-Lipschitz条件时，则判断||X(k+1)-X(k)||＜ε是否成立，是则迭代结束，输出最优值X(k+1)；否则继续迭代；ε为误差精度，根据精度要求和计算量权衡；

其中，N为预设的迭代次数上限。

2.根据权利要求1所述提高大数据处理质量的方法，其特征在于，所述步骤(4)中的L-Lipschitz条件为：

对任意X,Y∈Rⁿ，函数f(X)满足下式：

||▽f(Y)-▽f(X)||≤L||Y-X||；||·||表示向量的任意范数，L＞0为Lipschitz常数，选取为目标函数梯度的范数的一个上界；

所述强凸函数是指函数f(X)对任意X∈Rⁿ，

是凸函数；

上式中，||·||₂则表示取2-范数；为向量X二范数的平方，m为大于零的常数。

3.根据权利要求2所述提高大数据处理质量的方法，其特征在于，所述步骤(4)中，可以最少的迭代次数得到最优值X(k)；其中为Lyapunov函数。

4.根据权利要求1所述提高大数据处理质量的方法，其特征在于，所述步骤(3)中，所述Power系数γ∈(0,1)取值大小，根据误差精度ε确定；误差精度ε越大，γ的取值越小，算法的收敛速度越快。

5.根据权利要求1所述提高大数据处理质量的方法，其特征在于，所述γ根据迭代次数自适应方式选择：

其中γ₀，γ₁分别为γ的初值和终值，优化值取γ₀＝0.1，γ₁＝0.9，N为迭代次数上限。