[发明专利]核函数极限学习机分类器的FPGA实现方法

权利要求书

1.核函数极限学习机分类器的FPGA实现方法，其特征在于，包括如下步骤：

首先在PC机上对原始分类样本进行预处理得到样本，然后通过RS232端口将样本由PC机传输到FPGA中，FPGA将样本存入RAM中，根据训练样本的特征数和样本数确定核函数极限学习机的决策函数、拓扑结构；

核函数极限学习机决策函数的确定方法如下：

设有一组样本集(x_i,t_i)，i＝1,...,N，N为正整数，其中x_i∈R^d，R为实数集，d为样本特征数，t_i＝[t_i,1,t_i,2,...,t_i,m]^T是与第i个样本相对应的分类类别，m表示类别数，如果第i个样本属于第j类，则有t_i,j＝1，其余为-1，核函数极限学习机分类决策面描述为f(x_i)＝h(x_i)β，其中β为权值向量，h(x_i)＝[h(x_i,1),...,h(x_i,d)]为样本从输入空间到特征空间的非线性映射，核函数极限学习机的分类学习即解决下面的受约束优化问题：

最小化：

$L=\frac{1}{2}\left|\right|\mathrm{\β}|{|}^2+C\frac{1}{2}\underset{i=1}{\overset{N}{\Σ}}|\left|{\mathrm{\ξ}}_i\right|{|}^2---\left(1\right)$

其中：C为惩罚参数、ξ_i为松弛变量，i＝1,...,N；

约束条件：

$h\left(x_i\right)\mathrm{\β}-t_i^T={\mathrm{\ξ}}_i^T---\left(2\right)$

求解该问题引入拉格朗日函数得：

$L=\frac{1}{2}\left|\right|\mathrm{\β}|{|}^2+C\frac{1}{2}\underset{i=1}{\overset{N}{\Σ}}|\left|{\mathrm{\ξ}}_i\right|{|}^2-\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\α}}_{i,j}\left(h\right(x_i){\mathrm{\β}}_j-t_{i,j}+{\mathrm{\ξ}}_{i,j})---\left(3\right)$

其中，α_i＝[α_i,1,...,α_i,m]，α_i,j是拉格朗日乘子，利用KKT条件分别对拉格朗日函数的各个变量求偏导数即得：

$\frac{\∂L}{\∂{\mathrm{\β}}_j}=0\→{\mathrm{\β}}_j=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\α}}_{i,j}h{\left(x_i\right)}^T\→\mathrm{\β}=H^T\mathrm{\α}---\left(4\right)$

$\frac{\∂L}{\∂{\mathrm{\ξ}}_i}=0\→{\mathrm{\α}}_i={\mathrm{C\ξ}}_i,i=1,...,N---\left(5\right)$

$\frac{\∂L}{\∂{\mathrm{\α}}_i}=0\→h\left(x_i\right)\mathrm{\β}-t_i^T+{\mathrm{\ξ}}_i^T=0---\left(6\right)$

对式(4)～式(6)进行变换得式：

$\mathrm{\β}=H^T{(\frac{1}{C}+{\mathrm{HH}}^T)}^{-1}T---\left(7\right)$

式中：H＝[h(x₁)^T,h(x₂)^T,...,h(x_N)^T]^T，T＝[t₁、t₂,...,t_N]^T；

将式(7)其代入决策函数得：

$f\left(x\right)=h\left(x\right)\mathrm{\β}=h\left(x\right)H^T{(\frac{1}{C}+{\mathrm{HH}}^T)}^{-1}T---\left(8\right)$

引入高斯核函数，核函数定义为：

K(x_i,x_j)＝h(x_i)·h(x_j)＝exp(-γ||x_i-x_j||²) (9)

其中，γ为高斯核函数宽度参数

$f\left(x\right)=\left[\begin{array}{c}K(x,x_1)\\ .\\ .\\ .\\ K(x,x_N)\end{array}\right]{(\frac{1}{C}+\mathrm{\Ω})}^{-1}T---\left(10\right)$

其中：

Ω＝HH^T；Ω_i,j＝h(x_i)·h(x_j)＝K(x_i,x_j) (11)

设W由训练样本计算得到，此处定义其为输出权值向量；

把样本x代入决策函数(10)后得到输出f(x)，其中f_j(x)表示第j个输出，则f(x)＝[f₁(x),...,f_m(x)]，对于样本x的分类结果表示为：

$label\left(x\right)=\arg \underset{i\∈\{1,...m\}}{max}{f}_i\left(x\right)---\left(12\right);$

其中，由式(10)确定核函数极限学习机拓扑结构：输入层节点数为d，中间层节点数为N，输出层节点数为m；将该核函数极限学习机分成两部分：训练部分和测试部分；训练部分即输出权值W的计算，按以下步骤实现；

A1、矩阵Ω见式(11)的求解模块，构造一个高斯核函数模块按流水线的方式实现，核函数采用流水线的方式完成运算，分为减法、平方、求和、乘法及指数函数五步完成，每一步消耗一个时钟周期，五个步骤按流水线的方式工作，当训练样本连续输入时，在第5个时钟周期后计算结果连续输出；

A2、将上一步计算结果存储到存储器中，实现(1/C+Ω)，将变量1/C加到矩阵Ω的对角线上，构造计数器和加法器，加法器的一端接变量1/C，另一端接存储器的输出端，加法器的输出端接存储器的输入端，计数器的输出cnt作为存储器的地址，4个时钟周期为一个循环，t＝1时读数据，t＝2时输出的数据与变量1/C相加，t＝3时将求和结果写回原地址中，t＝4时计数器更新，cnt＝cnt+(N+1)；即指向对角线的下一个元素，运算结束后将数据输出；

A3、构造矩阵求逆模块将A2的输出数据写入模块内的存储器中然后进行求逆运算，运算结束后将数据输出，设A2的输出结果为A_NN，设A3的输出结果为B_NN即

A4、将A3输出的数据存入RAM中，完成W＝B_NNT，分类标签T分别存到RAMt1，RAMt2，…，RAMtm，构造m个乘法累加器，m个存储器RAMw1，RAMw2，…，RAMwm，第j个乘法累加器的两个输入端口，一端接RAM的输出，另一端接RAMtj的输出，完成运算，将结果存入RAMwj中，其中i＝1，2…，N，m个乘法累加器是同时并行运算，结果分别存入RAMw1，RAMw2，…，RAMwm中，RAMw中所存储的数据即为输出权值，其中j＝1，2....，m；

测试部分即网络输出模块的实现，完成下式运算

$f\left(x\right)={\left[\begin{array}{c}K(x,x_1)\\ .\\ .\\ .\\ K(x,x_N)\end{array}\right]}^T\·W---\left(13\right)$

B1、测试样本的核函数运算模块

由公式(13)知有N个核函数，此处采用流水线的方式来完成N个核函数的运算，测试样本X∈R^d送入核函数的一端，另一端接训练样本，N组训练样本连续输入，5个时钟周期后N个计算结果连续输出；

B2、构造m个乘法累加器，其中第j个乘法累加器的两个输入端，一个端口接B1的输出数据，另一个端口接RAMwj的输出，当B1数据输出时，同时读取RAMwj中的对应输出权值同时送入乘法累加器中进行并行运算，m个乘法累加器并型运算产生m个输出值，其中j＝1，2....，m；

B3、判断模块，上一步有m个输出，分别为f₁(x)，f₂(x)，…，f_m(x)，首先令T(0)＝1，其余位为0；然后取f₁(x)和f₂(x)进行比较，如果f₁(x)≥f₂(x)则max＝f₁(x)T不变，否则max＝f₂(x)，T(1)＝1，其余位置0；然后按此方法取max与下一个数据f_j(x)进行比较，如果max≥f_j(x)则max，T不变，否则max＝f_j(x)，T(j-1)＝1，其余位置0，全部比较完后将T输出。