[发明专利]基于MADALINE神经网络敏感性的特征选择方法及系统

说明书

技术领域

本发明涉及MADALINE神经网络设计时的学习样本的特征选择方法及其系 统，尤其涉及可有效提高MADALINE神经网络分类效率的基于特征选择的学习 样本特征选择方法及其系统，属于智能科学与技术中的机器学习技术领域。

背景技术

MADALINE是一种输入、输出以及激活函数都是离散的神经网络。在设计 一些MADALINE神经网络分类器时，由于特征向量维数很高，往往会导致网络 结构庞大。庞大的网络会导致训练困难、需要更多的训练样本、训练时间过长等 等弊端。在实际应用中，往往希望使用维数较低的样本，以构筑泛化性能较好的 分类器。

特征选择技术是将维数较高的样本经过某种准则的筛选，变成维数较低的样 本使得特定指标最优化的技术。基于搜索策略划分，常见特征选择算法可以归为 下面3类：

第一类：指数算法(Exponentialalgorithms)

这类算法对特征空间进行穷举搜索(当然也会采用剪枝等优化)，搜索出 来的特征集对于样本集是最优的。这类算法的时间复杂度是指数级的。

第二类：序列算法(Sequentialalgorithms)

这类算法实际上是一种贪心算法，算法时间复杂度较低，但是可能会陷入 局部最优值，不一定能找到全局最优解。

第三类：随机算法(Randomizedalgorithms)

随机算法属于一种近似算法，能找出问题的近似最优结。随机算法在近似 求解NP完全问题上显示出突出的优势，可尝试用在特征选择上。

基于评价准则划分，特征选择方法可以划分为过滤式(Filter)和封装式 (Wrapper)。过滤式与后续学习算法无关，一般直接利用所有训练数据的统计 特性评估特征，速度快，但评估与后续学习算法的性能偏差较大。封装式利用后 续学习算法的训练准确率评估特征子集，偏差小，计算量大，不合适大数据集。

过滤式是大数据集特征选择中最常用的方法。过滤式特征选择方法最重要的 就是选择特征合适的特性。本发明采用敏感性作为选择特征，这种特征具有计算 方便，筛选特征效果好的特点。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于MADALINE 神经网络敏感性的特征选择方法及系统，选择特征的敏感性，从而有效提高 MADALINE神经网络分类器的分类性能。

技术方案：一种基于MADALINE神经网络敏感性的特征选择方法，包括以 下步骤：

1)使用已有的训练样本集训练MADALINE神经网络，得到经过训练的分 类器；

2)计算各个特征的敏感性，并根据敏感性从大到小排序；

3)根据需要从排序中取前若干个敏感性大的特征作为新特征集。

一种基于MADALINE神经网络敏感性的特征选择系统，所述系统包括：

训练模块，其利用已有的训练样本集训练MADALINE神经网络，得到经过 训练的分类器；

计算模块，其利用经过训练的分类器计算各个特征的敏感性，并根据敏感性 从大到小排序；

特征选择模块：其根据预设的数值从排序中取前若干个敏感性大的特征作为 新特征集。

本发明采用上述技术方案，具有以下有益效果：

(1)相对于使用全部特征构建分类器而言，经过选择的特征能更好地代表 样本的特性，并且能够降低训练分类器所耗费的时间和代价，提高MADALINE 神经网络的泛化能力。

(2)本发明挑选敏感性大的特征，这些特征往往对训练分类器是重要的。 通过这样的方法可以有效减少特征数量，提高分类器的性能。

附图说明

图1为MADALINE神经网络结构图；

图2为本发明实施例的方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本 发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发 明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

现以MADALINE神经网络为例，说明根据本发明的特征选择方法。