[发明专利]一种乱序数据流中基于误差反向传播的模板匹配方法

权利要求书

1.一种乱序数据流中基于误差反向传播的模板匹配方法，其特征在于对误差反向传播进行改进修正，并将改进后的BP算法运用到模板匹配机制中，提出一个改进型匹配模型，对数据进行预处理；提出神经元优化机制，重新定义神经元计算公式，加入相关系数和离散度；提出动态自适应调整机制，重新定义性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数；根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板；设定好匹配模板之后，运用神经元优化机制，动态调整神经元个数，自动删除无效冗余节点；同时运用自适应调整机制修正阈值、连接权值和学习指数；其具体步骤如下：

1）利用随机发生器产生乱序数据流，在输入层读取数据，并在隐层中设定可接受误差范围；

2）动态设定匹配模板，初始化各层参数，在输入层对数据流进行预处理；

3）进行模板匹配，计算各节点误差；若数据在误差范围之内则视为匹配成功，直接输出结果；若不在误差范围之内，则视为此次匹配失败，修正连接权值、阈值及学习指数，来进行下次匹配，再反向传播至隐层进行迭代计算；

4）匹配结束后，输出输出层的匹配结果。

2.根据权利要求书1所述的乱序数据流中基于误差反向传播的模板匹配算法，其特征在于提出一个改进型匹配模型，对数据进行预处理，具体描述如下：

BP网络的非线性映射特性适用于乱序数据流的非结构性映射，而且可以利用算法自学习功能，通过对样本的分析辨识出有价值的数值序列；在乱序数据流中，利用数值来代替事件，以此给BP网络的参数修正和自适应匹配创造条件；而网络的模型是影响网络学习性能的主要因素之一，通常根据经验人工获取；对于匹配模型未知的乱序数据流序列，数据是随时间而不断变化的，使用静态匹配模板显然不能完全满足用户的不同时刻段的不同需求，因此将输入层样本输入设为(x₁,x₂x₃,…,x_k,1≤k≤n)，n为输入层节点个数，输出层样本输出为其中f(x_k)表示网络的输出函数，网络通过对样本学习训练，调整各神经元之间的连接权值来实现对模型参数的逼近，同时加入遗忘因子，使得网络在连接权值调整的同时也进行网络结构的学习，从而实现对模板的动态建模和参数辩识；在改进型模型中在网络输入层对输入样本作了预处理，对乱序数据流进行归一化操作，并用公式(1)事先计算好误差项，隐层误差计算采用的Sigmoid作用函数，在闭区间[0，1]上的Sigmoid函数表达式及其导数定义为公式(2)，其中λ决定Sigmoid函数的压缩程度，为避免陷入局部最小一般取1

ek=xk-x^k---(1)]]>

f(x)=1(1+e-λx)f′(x)=λf(x)[1-f(x)]---(2)]]>

假设网络中第j个节点输出为将其表示为公式(3)

x^k(j)=Σi=1nωijh(si),j=0,1,...,n---(3)]]>

式中ω_ij为连接权值；式中h(s_i)为隐层的第i个神经元的输出，其中s_i为其输入和，表示为公式(4)

si=Σi=1nani*xk+Σm=1nbmi*ek---(4)]]>

式中a_ni为输入单元与隐层的连接权值，b_mi为隐层与输出单元的连接权值，上述定义使得隐层的每个神经元节点仅接受自身单元的反馈，由于遗忘因子的加入，使得各个节点之间不存在反馈联系。

3.根据权利要求书1所述的乱序数据流中基于误差反向传播的模板匹配算法，其特征在于提出动态自适应调整机制，具体描述如下：

在自适应调整机制中，将学习样本输入至已确定的网络匹配模型中，进行迭代计算，在计算过程中，计算隐层节点性能均方差，并将训练的结果误差值传播至输出层，在输出层中继续计算各节点误差值；将所计算出的误差反向传播至隐层，利用公式（5）继续迭代，直到满足预设条件

e^p′=e^p(1-xp)Σp∈outputωijδp---(5)]]>

其中，δ_p为输出层与隐层间的阈值(Threshold)，ω_ij为连接权值，x_p是输出层中第p个节点的实际输出值，为隐层节点性能均方差，为节点误差值，由于阈值的选取直接导致各误差的传播速度，因此，需要一个自适应变化的阈值来加快传播速度。为此，利用公式（6）来对阈值进行修正

δ_p＝α(E（p）+βω_ij)       （6）

其中，E(p)为第p个节点的梯度，利用Sigmoid函数计算一阶导数，α,β为(0,1)开区间的随机值，利用修正后的阈值，再计算各节点误差值，对比学习停止条件，若误差精度达到设定要求，则一轮迭代结束，输出层输出结果；若未满足，则通过公式（7）修正连接权值Connecting Weight，以此来加快各层间连接响应速度

ω_ij＝η(p)δ_px_ij    （7）

其中，x_ij是节点i到节点j的输出，η(p)是初始学习指数，训练开始阶段，要求连接权值较大以加快学习速度，而当学习接近优化区时，连接权值就必须相应的变小，否则将产生振荡而不收敛，进而影响网络的稳定性，每一层连接权值的修正都与BP网络的学习速率有关，因此在改变连接权值的同时保证学习指数随其变化，使得神经网络学习传播模型能自适应变化，以适应数据量的增加，而不会坠入局部最小值；利用公式（8）来自适应调整学习指数Learning Rate

η(p+1)=η(p)*E(p)E(p-1)---(8)]]>

其中下一个节点的学习指数η(p+1)是通过当前学习指数η(p)乘以当前梯度与前一个节点的梯度之比来优化，可使算法获得更加稳定的收敛性，并能明显减少学习次数。