[发明专利]一种互联网大数据分析提取方法

权利要求书

1.一种互联网大数据分析提取方法，其特征在于，包括如下步骤：

步骤1、根据数据的特点，将数据对象划分为不同的部分和类型，再进一步分析，得到所要提取的数据范围；

步骤2、通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够拟合实测数据，如果能够拟合，则根据自变量作进一步缩小所要提取的数据范围；

步骤3、根据数据的特征属性将数据分成两个以上聚合类，每一个聚合类中的元素具有相同的特性，对所要抓取的数据进行分组；

步骤4、采用相似匹配法来计算两个数据的相似程度；

步骤5、将步骤1～步骤4中频繁出现的数据进行提取，根据数据的属性特征，用词频作为统计指标，表明数据所反馈的数据段信息；

步骤6、根据数据段分解正则表达式对待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据段分解正则表达式对应的数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对，根据数据统计规则，对中间数据对进行统计分析，得到数据分析结果。

2.根据权利要求1所述的方法，其特征在于，步骤2包括：设定自变量数据对象为X＝{x₁，x₂，...，x_m}，其对应的因变量为y＝{y₁，y₂，...，y_m}，回归模型为：

y＝w₀+w₁x₁+w₂x₂+…+w_mx_m+μ

其中，x_m、y_m分别表示第m个自变量和第m个因变量；w＝{w₀，w₁，w₂，...，w_m}为回归系数集合，w_m表示第m个回归系数，μ为随机误差，采用平方误差来衡量拟合的误差L(X)：

由得到：

是对w(回归系数)的参数估计值；

通过局部加权线性回归，解决欠拟合问题，为误差增加权重w_i，误差为：

其中W是对角矩阵，采用高斯核，对应权重函数W(j，j)为：

其中k表示高斯函数的方差，得到新的回归系数为：

其中W＝W^TW。

3.根据权利要求2所述的方法，其特征在于，步骤4中，要求不同分组的数据对象之间相似度低，同一个分组中的数据对象之间的相似度高，通过如下目标函数计算J：

其中，J是实测数据集中所有对象的平方误差之和，x_i表示数据集中任意一个对象，u_j是第j个聚合类C_j的中心点，目标是让上述目标函数达到收敛。