[发明专利]核函数极限学习机分类器的FPGA实现方法

说明书

技术领域：

本发明属于模式识别技术领域，具体涉及一种核函数极限学习机分类器的FPGA实现方法。

背景技术：

人工神经网络是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。他实际上是一个由大量简单神经元相互连接而成的复杂网络，具有高度非线性特征，并行性，能够进行复杂的逻辑操作和非线性关系实现的系统。但是前馈神经网的训练主要采用梯度下降算法，所有的权值都需要调节，这样限制了神经网络的训练速度。G.B.Huang对此进行了研究，提出了极限学习机(ELM)算法，该算法对单隐层分类器的输入权值和隐层节点偏移量进行随机赋值，并且只需对隐含层输出矩阵进行广义逆操作即可得到网络的输出权值。该算法具有学习速度快，操作简单，错误率低等优点，在最近几年内得到很快的发展。在分类方面，由于最初的ELM的训练是基于误差为零而推导出来的，主要考虑的是训练误差，没有对输出权值进行优化，也不是去寻找类别之间的最优分类超平面，而且会造成训练过度。因此并不适合分类，故在此基础上提出了核函数极限学习机。该方法寻找分类数据之间的最优超平面，采用了二次优化的方法在最小化训练误差的同时对输出权值进行了优化，得到了全局最优点，具有很好的泛化能力，分类方面的表现优于ELM，而且同时具有操作简单、训练速度快等优点。

目前核函数极限学习机只是在计算机上编程实现的，虽然计算机具有高度灵活性但由于计算机串行运算并不适合神经网络。近些年FPGA技术发展迅速，FPGA作为专用集成电路(ASIC)领域中的一种半定制电路，其高速、并行和可重构的特点成为神经网络硬件实现最合适的芯片。

发明内容：

本发明的目的在于提出了一种核函数极限学习机分类器的FPGA实现方法。该实现方法实现过程中采用串行，并行混合编程，同时采用流水线编程思想，该实现方法可以在保持较高的运算速度的前提下，可以有效的节省硬件资源，提高资源的利用率。在矩阵求逆时采用降维法完成矩阵求逆，将大维数矩阵分解成小维数的矩阵，可以有效的提高工作效率。

为达到上述目的，本发明采用如下的技术方案予以实现：

核函数极限学习机分类器的FPGA实现方法，包括如下步骤：

首先在PC机上对原始分类样本进行预处理得到样本，然后通过RS232端口将样本由PC机传输到FPGA中，FPGA将样本存入RAM中，根据训练样本的特征数和样本数确定核函数极限学习机的决策函数、拓扑结构。

本发明进一步的改进在于，在PC机上对原始分类样本预处理实现过程为：首先确定FPGA上所需二进制定点数位数，n1表示整数位位数、n2表示小数位位数，初定1位符号位、3位整数位及12位小数位，当运算产生溢出时或精度不够时增加相应的二进制位数；然后将原始分类样本进行归一化处理，将归一化的数据乘以2ⁿ²并四舍五入到整数位，得到十进制数，最后将十进制数转换成十六进制数，得到样本。

本发明进一步的改进在于，通过RS232端口将样本数据传输到FPGA中，传输时先高位后低位，FPGA接收数据，当接收到一个数字对应的ASCII码时，将ASCII码转成该数字对应的二进制数，暂存在存储器中；当再次接收到数字对应的ASCII码时，将存储器中的二进制数左移4位然后将刚接收的数字对应的二进制数赋值给存储器中二进制数的低四位；当接收到非数字对应的ASCII码时，将存储器中的数据写入RAM中，然后将存储器中的数据清零，准备接收下一个数据。

本发明进一步的改进在于，核函数极限学习机决策函数的确定方法如下：

设有一组样本集(x_i,t_i)，i＝1,...,N，N为正整数，其中x_i∈R^d，R为实数集，d为样本特征数，t_i＝[t_i,1,t_i,2,...,t_i,m]^T是与第i个样本相对应的分类类别，m表示类别数，如果第i个样本属于第j类，则有t_i,j＝1，其余为-1，核函数极限学习机分类决策面描述为f(x_i)＝h(x_i)β，其中β为权值向量，h(x_i)＝[h(x_i,1),...,h(x_i,d)]为样本从输入空间到特征空间的非线性映射，核函数极限学习机的分类学习即解决下面的受约束优化问题：

最小化：