[发明专利]一种基于SVM技术的离散前向神经网络分类器的优化方法

说明书

技术领域

本发明属于人工智能中的机器学习领域，具体涉及一种基于SVM技术的离散前向 神经网络分类器的优化方法。

背景技术

离散前向神经网络(BFNN)是一种最早提出也是最广泛应用的离散前向人工神经 网络模型，采用的是有监督学习机制。虽然说离散问题可视为连续问题的特例，可用BP学习 算法之类的来解决问题，但是BFNN还是存在一些明显的优势：一方面，它更适合处理一些本 质为离散且连续技术不适用的问题，如信号处理、逻辑运算、模式分类等；另一方面，更有利 于利用VLSI技术进行其硬件实现。

然而，到目前为止，离散前向神经网络学习算法还不够完善。主流的学习算法研究 大致可以分为两块：一个是自适应学习算法，另一个是几何构造算法。前者通常由感知机学 习规则扩展而来，后者是基于输入模式的几何分布特性，通过构造分类超平面系来获得网 络参数。但无论是自适应学习算法还是几何构造算法，在学习效果很学习效率方面都很难 应用到工程当中去。目前，比较有效的学习算法当属基于敏感性的自适应学习算法 (SBALR)，该算法是针对BFNN提出来的权参数自适应学习算法。该算法设计主要遵循三条基 本学习原则：“最小扰动原则”、“有利原则”以及“任务分摊原则”，在次基础上设计了三条学 习规则，其中最为重要的学习规则是权参数自适应调节规则，具体可参照钟水明教授在 IEEE上发表的基于敏感性的二值前向神经网络的自适应学习算法。

支持向量机(SVM)是在统计学习基础上发展起来的新一代学习算法，该算法在理 论基础上有较强的优势，它能够保证找到的极值解就是全局最优解而并非是局部最小值， 这就保证了SVM算法对未知样本有较好的泛化能力，正因为这些优势，SVM在文本分类、图像 分类、生物信息学等众多领域获得较好的应用。

SVM在解决线性可分问题的时候能够确立一个最有超平面，来提升分类器的泛化 性能。但是在实际应用中，大部分问题都是线性不可分的。在面对非线性可分问题时，SVM的 性能很大程度上还是依赖于核函数的选择，并没有一个通用的方案，从而使得SVM在工程应 用中受到阻碍。

发明内容

本发明针对离散前向神经网络(BFNN)具有明显的结构优势，但现有学习算法还难 以获得令人满意的泛化性能这一现实问题，借助SVM解决线性可分问题的技术优势，用SVM 技术来优化训练后的BFNN，能够极大地改善分类器的泛化性能，从而进一步促进BFNN在模 式识别以及电子通信领域更加广泛的应用。

技术方案：在现有的BFNN神经网络学习泛化能力还不理想的情况下，训练样本数 据，分解神经元数集，再重新组织更完善更契合的映射关系，通过SVM技术找到更优的权参 数，并且能够通过SVM技术改善BFNN神经网络泛化性能，从而获得更优的学习性能。

本发明为实现上述发明目的采用如下技术方案：

步骤1)，对给定样本集S进行训练，建立映射关系,确立一个BFNN分类器。具体可描 述为先随机初始化一个离散前向神经网络，根据基于敏感性的自适应学习算法(SBALR)训 练给定样本S从而得到一个BFNN分类器；

步骤2)，读取已获得的BFNN分类器的网络信息，包括网络所含层数L，每层所含神 经元个数n^l，其中，表示l网络的层数序号，选择一个样本X_i(一般从给定样本集S的第一个开 始)；

步骤3)，判断样本序号是否在给定样本集S中，如果在，则读取样本X_i，否则，则跳 出步骤3)；

步骤4)，对已训练好的BFNN分类器的网络层数进行编号，并定位网络的层号l(一 般从网络第1层)；

步骤5)，判断网络层号是否属于该网络所含层数，如果是，则对于定位到的第l层， 对该层的神经元进行编号，并且具体定位到第l层的第j个神经元(j一般从该层第1个神经 元开始)，否则，则网络中所有神经元在该样本X_i下均已计算完毕，此时，需要下一个样本的 读入，跳到步骤4)；

步骤6)，判断一个神经元的编号j是否属于原网络该层的神经元个数；如果是，则计算出该神经元在样本输入下对应的输出，形成的新的集合；否则，则说明该层神经元对应的输入输出集均已计算完毕，则进入下一层神经元进行同样的计算；