[发明专利]基于无标记样本的RBF神经网络构建方法及其装置

说明书

技术领域

本发明涉及神经网络设计时的网络构建方法及其装置，尤其涉及一种可有效提高神经网络分类效率或回归效率的网络构建方法及其装置，属于智能科学与技术中的机器学习领域。

背景技术

在设计RBF神经网络分类器时，如何确定神经网络的结构是一个重要而且关键的步骤。针对具体问题构建一个合适的网络对提高分类精度、泛化能力都有巨大的帮助。目前广泛使用的是三层神经网络。文献已经证明，三层神经网络当第二层（也称隐层、中间层）神经元数增多时可以逼近任何连续函数。在具体应用中，三层神经网络的第一层神经元数依赖于输入变量的维数，第三层神经元数依赖于输出变量的维数。因为输入变量和输出变量的维数一般都是确知的，所以第一层和第三层神经元的个数一般也是确定的。对于三层神经网络的网络构建实际上是确定第二层神经元数目的一个过程。

在训练神经网络的时候，通常使用有监督的学习方法。有监督的学习方法是指在训练神经网络的过程中通过告诉网络输入和相对应的输出来调节网络参数，达到训练神经网络的目的。在这个过程中需要使用有标记的训练样本。训练样本的标记一般是由专家来完成的，这往往要花费大量的金钱和时间代价。在实际应用中，无标记的样本比有标记的样本要容易获得的多。例如在某些互联网应用中，由专家标记的有标记样本和无标记样本相比只占很少的一部分。能否使用那些没有标记的样本帮助辅助确定网络的最优结构就变得很有必要。

对于三层RBF神经网络，确定隐层神经网络的方法主要有：

1）增枝法。这个方法确定隐层神经元数量的过程是首先选择一个很小的隐藏神经元数。由于隐层神经元数太少，所以网络的结构太简单，导致使用训练样本训练神经网络不成功。数学上的表征就是误差不收敛。在这个隐层神经元数量的基础上一个一个地增加隐层神经元数量，每增加一个隐层神经元重新训练一次网络，直到隐层神经元数量增加到某一数量时神经网络能够训练成功为止。能够使得神经网络训练成功的最小隐层神经元数量就是我们需要寻找的隐层神经元数。

2）减枝法。这个方法与增枝法相反，它的操作方法是首先确定一个足够大的隐层神经元数来构造一个三层神经网络，在这个结构下能够使用有标记的样本很容易地训练好神经网络。然后对隐层神经元去除一个，在去除之后的网络基础上使用有标记的样本进行训练，使得网络再次训练完成。重复上述去除过程，直到网络训练不能完成为止。这时候取最小能完成的隐层神经元数量作为最终确定的隐层神经元数。增枝法和减枝法背后的理论基础是统计学习理论要求对于一个具体的分类问题分类器要有一个合适的复杂度，保证既不过拟合也不欠拟合。只有这样的分类器才能具有最好的泛化能力。对于三层RBF神经网络这样的分类器而言，网络复杂度就体现在隐层神经元的数量上，神经元数量太少网络欠拟合，训练不能完成，神经元数量太多网络过拟合，泛化能力差。

3）经验法。这种方法确定隐层神经元数需要对具体问题所涉及的领域有深刻的理解，从而凭借经验确定隐层神经元的数量。即使这样也不能保证所取的隐层神经元数量是最优的。

对于上述方法减枝法目前使用较多。在具体的减枝过程中，首先减去哪个隐层神经元、其次减去哪个隐层神经元对于确定最终的网络结构非常重要。一般认为每个隐层神经元在训练过程中起到的作用或者重要程度是不一样的。理论上首先去掉对分类没有作用的或者不重要的神经元可以使得最终训练完成的神经网络的泛化性能更好。如何利用无标记的样本来辅助确定隐层神经元以更好地确定网络就变得非常重要。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于无标记样本的RBF神经网络构建方法及其装置。

技术方案：一种基于无标记样本的RBF神经网络构建方法，包括以下步骤：

（S101）选取一个足够大的正整数m（m最大不超过训练样本的个数）作为隐层神经元数，构建一个三层RBF神经网络，并给定初始网络参数；

（S103）利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e（e取值小于10的-2次方），得到经过训练的分类器；

（S105）利用有标记和无标记样本计算隐层神经元的敏感性，并按照敏感性由小到大排序；

（S107）去掉敏感性最小的隐层神经元，得到新结构的RBF神经网络；

（S109）对新的RBF神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤（S107）、（S109）；如果不能收敛则进入下一步；