[发明专利]基于主动学习的模糊神经网络样本选择方法

说明书

技术领域

本发明涉及模糊神经网络设计时学习样本的选择方法，尤其涉及可有效提高模糊神经网络分类效率的基于主动学习的学习样本选择方法。

背景技术

一般而言，在设计神经网络分类器时，训练样本的标记过程通常都是手工进行的，往往要花费巨大的人力物力。以前的样本采集与标记方法中一般不考虑样本中所蕴含的知识，随机从样本集中选取一些未标记的样本由用户手工进行标记，作为训练样本送到分类器中进行训练和学习。为了使分类器达到所预定的性能，这种盲目的样本选择方法往往需要用户标记大量的样本，这不仅使得分类器的训练过程大大延长，而且在时间和工作量上也都付出了很大的代价。

主动学习算法自从问世以来就受到了普遍关注，其焦点主要在样本选择标准的设计，以及初始样本数目大小的研究上。然而，主动学习算法最为关键的问题是——“提出好的样本选择标准”，目的是寻找最有效利用有限训练样本的途径，通过尽量少的查询样本获取最大限度的有用信息。

主动学习算法中影响较大的样本选择准则主要有：1)统计学习准则(Statistical Approach)：在这个模型中，样本选择标准以分类性能指标中泛化误差最小化为基准，由于泛化误差一般较难计算，所以通常由实际输出值与期望输出值之间的均方误差值来逼近，并假设分类器的偏差非常小可以忽略不计，而只关注分类器的方差值大小。2)相关抽样准则(corraletive sampleing)，选择与当前分类器最一致的样本，因此相关抽样也称为确定性抽样。这种准则在某些情况下是合理的，然而由于它每次选择最确定的例子，而忽略掉了引起特别关注的异常例子，使分类器形成对某些样本的特殊偏好，从而选择了过量冗余的例子。3)最大边界准则(Margin Based Approach)。选取最接近分类面的样本为问询标准，该方法认为越接近分类面，样本所含信息量就越大，称之为最大边界法。上述这些方法都在神经网络分类器的设计过程中获得了较好的分类效果。

上述主动样本选择准则大多本着信息量最大化原则，或决策中不确定性最小化原则。虽然取得了一些较好的分类效果，然而，对于模糊神经网络而言，这种主动学习方法并非总是有效的。由于局部极小值的存在，使得按照上述样本选取准则所生成的训练样本集，往往比被动学习更加容易陷入不收敛或是局部极小值的状态。其主要原因是选取优秀样本的要求往往使得样本被选范围越来越小，最后落入到几个固定区域。并且，目前针对模糊神经网络的样本主动学习方法研究目前还很少，。

因此，需要一种针对模糊神经网络分类器主动学习算法的网络样本选择方法，以有效提高模糊神经网络分类器的分类性能。

发明内容

有鉴于现有的模糊神经网络中基于主动学习的样本选择所所存在的问题，本发明所要解决的技术问题是提供一种针对模糊神经网络分类器主动学习算法的设计方案，有效提高了模糊神经网络分类器的分类性能。

本发明的一个方面为一种基于主动学习的模糊神经网络样本选择方法，包括如下步骤：a)请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样本训练集，并利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器；b)请求用户对从未经训练的样本中随机选取的第二小部分样本进行标记，以在所述分类器上对所述第二小部分样本进行类别测试；c)根据所述测试的结果将所述第二小部分样本中的某些样本加入所述样本训练集；及d)利用所述经加入的训练样本集重新训练所述分类器，得到新的所述分类器。

本发明的另一方面为一种基于主动学习的模糊神经网络样本选择装置，包括：样本训练集形成模块，其请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样本训练集；训练模块，其利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器；及判定模块，其在所述分类器上对从未经训练的样本中随机选取的第二小部分样本进行类别测试，并根据所述测试的结果将所述第二小部分样本中的某些样本加入所述样本训练集。所述样本训练集形成模块请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样本训练集，并利用所述训练模块通过所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器，并且其中所述判定模块利用所述训练模块通过所述经加入的样本训练集重新训练所述分类器，得到新的所述分类器。