[发明专利]一种增广线性模型及其应用方法

说明书

技术领域

本发明属于数据处理领域中的方法研究，涉及一种增广线性模型及其应用方法。

背景技术

线性模型最早由高斯提出，这种模型将期待数据映射到由输入数据张成的输入空间中，并在输入空间中找到最优模型参数使得损失函数最小。因为线性模型在数学性质、可解释性及鲁棒性等方面较其他模型具有明显优势，被广泛应用在数据处理、控制理论、模式识别、机器学习等多个领域。当数据是非线性的时候，参数的自适应将变得非常复杂，这是因为非线性系统参数寻优时存在大量局部极值点，而通过目前已有的方法和手段很难得到最优解，且其理论分析将变得极为复杂。现有的很多非线性函数拟合方法都以实用为主，缺乏相应的理论支撑。

近年来，随着计算机性能大幅提高，数据量的显著增大，人工神经网络依靠其强大的端对端非线性拟合能力，受到工业界的青睐。即便如此，如何减少训练时间以及如何降低网络规模仍然是研究者们探讨的热点。与此同时，核自适应滤波在工程实际中也被广泛运用。这是种单隐层前向网络，通过Mercel核将非线性数据映射到超高维空间甚至无穷维空间当中，并用线性自适应滤波算法得到最优解。另一个受到广泛关注的算法是超限学习机，与核自适应滤波相同，极限学习机也是一种单隐层网络。网络中，隐层的激活函数与隐层权重都是随机产生的，所以网络训练速度很快。但是在实际问题中，为了达到理想的效果，在训练阶段需要一些技巧，例如随机权重服从怎样的分布以及隐层节点的个数都是训练网络时需要考虑的问题。人工神经网络等非线性拟合算法的成功展现了人们对于快速有效的非线性拟合算法的迫切需求。

发明内容

本发明的目的在于提供一种增广线性模型及其应用方法，将其应用在数据处理领域，提出增广空间线性滤波器，并通过实验证明了滤波器的有效性。

为达到上述目的，本发明采用了以下技术方案。

一种增广线性模型，该增广线性模型的定义为

d＝w^Tu+e (1)

其中e是增广线性滤波器的瞬时误差，w是线性维纳滤波器的最优解，u是训练数据的输入数据，d是期待输出数据。

一种增广线性模型的应用方法，包括训练阶段和应用阶段；

在训练阶段，假设有N组训练数据其中，i表示时间索引，u是训练数据的输入数据，d是期待输出数据，这里假设输入数据是L维数据，通过最小二乘算法计算出维纳滤波器参数的最优解w；根据最优解w后，计算出期待数据在输入空间的投影，即维纳滤波器的输出y：

y＝w^Tu (2)

当已知训练阶段的期待数据，首先通过增广线性模型计算每个数据的瞬时误差，该瞬时误差的方向是垂直于L维输入空间的，从而得到输入数据和瞬时误差的关系表，关系表中每个误差的索引是对应的输入数据；

对关系表进行量化，输入为N个索引向量，设定量化半径ε，通过度量索引之间的距离得到一个数量小于N的新的索引集，其对应误差为索引中心包含的索引误差的平均值；

在应用阶段中，首先通过构建kd树在关系表中找到与当前测试样本最近的索引C(j^*)以及最近的索引对应的误差e(j^*)，并将该误差作为对当前测试数据瞬时误差的估计，得到当前测试数据瞬时误差值在这里j^*表示字典中与当前样本最近的索引是表中的第j^*个索引：

再根据增广空间线性模型，得到测试数据期待数据的估计值

本发明进一步的改进在于，通过公式计算出维纳滤波器参数的最优解w：

w＝(βI+UU^T)^-1Ud(5)

维纳滤波器参数的最优解w是与输入相同维度的L维向量，其中，U为训练数据的输入数据组成的矩阵，且U＝[u₁,u₂,…,u_N]，d为期待输出数据组成的向量且d＝[d₁,d₂,…,d_N]^T，β是最优解的正则项，I表示对角线为1的对角矩阵。

本发明进一步的改进在于，度量索引之间的距离具体过程如下：用维纳解对输入数据进行加权，然后再用欧式距离度量数据点之间的距离，得到距离最近的点为最近的索引。

本发明进一步的改进在于，加权通过以下公式进行