[发明专利]一种乱序数据流中基于误差反向传播的模板匹配方法

说明书

技术领域

本发明是一种在乱序数据流中基于误差反向传播的模板匹配方法，属于大数据的模板匹配算法领域。

背景技术

大数据其所涉及的数据量规模巨大，无法通过目前主流软件工具在合理时间内获得乱序数据中用户所需的有价值信息。传统的数据处理模式将采集到的数据先存储起来，然后用户主动进行查询，得到最终答案，而对于乱序数据流这种方式并不合适。因此，为了对数据及时的进行存储和计算，模板匹配机制被广泛运用于乱序数据流中。但目前大部分模板匹配机制是根据事件发生的先后顺序进行匹配，这就使得来自不同数据源的事件由于网络质量不稳定等原因而导致事件不按照时间顺序到达处理节点，进而造成模板匹配的精确度不高，无法应用于实时性较高的场合，并给缓存单元带来极大的计算压力。

误差反向传播（Error Back Propagation，BP）算法是一种有效的学习匹配算法，能进行大规模并行信息处理，并用数据代表简单事件，进行匹配操作，能在短时间内获得较高的算法收敛效率。但传统BP算法的学习模板往往是固定不变的，在数据量增加的情况下，算法性能会变差，这样就使得算法的运行速度和稳定性之间产生很大的矛盾。

发明内容

技术问题：本发明针对上述问题，提出一种乱序数据流中基于误差反向传播的模板匹配方法，该方法对BP算法的隐层与输出层的连接权值进行了修正，同时利用梯度比值改进学习指数。将改进后的BP算法运用到模板匹配机制中，来加速匹配过程中的算法速度和精度，并提高算法的稳定性。

技术方案：本发明的一种乱序数据流中基于误差反向传播的模板匹配方法为：

基本思想：本发明针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数。根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板。设定好匹配模板之后，同时运用自适应调整机制修正阈值、连接权值和学习指数。

模型定义:

定义1：模板匹配模型：BP网络的非线性映射特性适用于乱序数据流的非结构性映射，而且可以利用算法自学习功能，通过对样本的分析辨识出有价值的数值序列。在乱序数据流中，我们可利用数值来代替事件，以此给BP网络的参数修正和自适应匹配创造条件。而网络的模型是影响网络学习性能的主要因素之一，通常根据经验人工获取。对于匹配模型未知的乱序数据流序列，数据是随时间而不断变化的，使用静态匹配模板显然不能完全满足用户的不同时刻段的不同需求，因此将输入层样本输入设为(x₁,x₂x₃,…,x_k,1≤k≤n)，n为输入层节点个数，输出层样本输出为其中f(x_k)表示网络的输出函数。网络通过对样本学习训练，调整各神经元之间的连接权值来实现对模型参数的逼近，同时加入遗忘因子，使得网络在连接权值调整的同时也进行网络结构的学习，从而实现对模板的动态建模和参数辩识。在改进型模型中我们在网络输入层对输入样本作了预处理，对乱序数据流进行归一化操作，并用公式(1)事先计算好误差项。隐层误差计算采用的Sigmoid作用函数，在闭区间[0，1]上的S型函数（Sigmoid函数）表达式及其导数定义为公式(2)。其中λ决定Sigmoid函数的压缩程度，为避免陷入局部最小一般取1。

ek=xk-x^k---(1)]]>