[发明专利]一种提高大数据处理质量的方法

摘要

本发明公开了一种提高大数据处理质量的方法，将对大数据处理和分析问题转化为求解最小值问题，结合大数据处理特点，对现有数值优化算法进行改进，得到一类加快算法的收敛速度的数值优化方法。本发明通过在现有迭代算法基础上，引入Powerball函数，具体而言，是在迭代公式中引入关于目标函数梯度项的非线性Powerball函数，该函数中含有一个动力系数，用以提高算法的收敛速率。本发明具有收敛速度快、运行时间短等优点，可以很好的解决大数据分析的速度和质量，能显著减少计算机的运行时间。

主权项

一种提高大数据处理质量的方法，其特征在于，包括如下步骤：(1)根据收集到的数据特性，对要优化数据进行分析：如果数据处理问题是否是求解函数的最小值优化问题：是则转步骤(2)；否则，通过对数据的正则化处理，转化为求解最小值优化问题，转步骤(2)；(2)建立最小值优化模型其中Rn为实数域的n维向量，f(X)为目标函数，是一个二次连续可微的非线性函数，X为n维向量；(3)选取梯度类优化方法，所述方法包括梯度下降法、牛顿法和L‑BFGS方法；具体根据选取的优化方法，引入Powerball函数，建立Powerball迭代公式，进行迭代；所述Powerball函数表达式σγ(z)＝sign(z)|z|γ，γ∈(0,1)为Power系数，z∈R；对于梯度下降法，对应的Powerball迭代公式为：对于牛顿法，对应的Powerball迭代公式为：X(k+1)＝X(k)‑(▽2f(X(k)))‑1σγ(▽f(X(k)))；对于L‑BFGS方法，对应的Powerball迭代公式为：其中，是目标函数的Hesse矩阵的逼近矩阵，与Hesse矩阵有相同的维数；Sk＝X(k+1)‑X(k)，是与X(k)有相同的维数的向量；X(k+1)＝X(k)+αkdk，Yk＝▽f(X(k+1))‑▽f(X(k))，即式中，▽f(X)为目标函数f(X)的梯度；▽2f(X)为目标函数f(X)的Hesse矩阵；k是迭代次数，取值为0，1，2，……，αk为第k次迭代时的步长，X(k) 为第k次迭代得到的逼近值；当k＝0时，Bk初值取为单位矩阵，X(k)的初值X(0)可任意选取；σγ(·):R→R为Powerball函数σγ对目标函数梯度的非线性变换即Powerball变换；(4)判断收敛性，具体判断方法如下：当目标函数是强凸函数，且其梯度满足L‑Lipschitz条件时，则判别迭代次数是否大于N；是则迭代结束，输出最优值X(k+1)；否则继续迭代；当目标函数不是强凸函数，或其梯度不满足L‑Lipschitz条件时，则判断||X(k+1)‑X(k)||＜ε是否成立，是则迭代结束，输出最优值X(k+1)；否则继续迭代；ε为误差精度，根据精度要求和计算量权衡；其中，N为预设的迭代次数上限。