[发明专利]一种基于小生境和自适应负相关学习的进化神经网络集成方法

说明书

技术领域

本发明属于神经网络领域，应用于人工智能、机器学习、模式识 别、数据挖掘和语音识别等领域，尤其涉及一种进化神经网络集成方 法。

背景技术

1990年，Hansen和Salamon提出了神经网络集成学习方法，该方 法先是训练多个神经网络，然后将训练好的神经网络进行合成。与单 个神经网络相比，神经网络集成能显著地提高神经网络的泛化能力。 最近几年，越来越多的研究者意识到这一方法的巨大潜力和应用前景 并投入了大量的研究。因此，神经网络集成学习也日益成为机器学习 和神经计算领域的一个相当活跃的研究热点。

Hansen和Salamon采用数学概率公式证明，当每个神经网络的预 测精确度都高于50％，且各网络的错误不相关，则集成中神经网络数 量越多，神经网络集成的泛化能力越强。Krogh和Vedelsby在1995 年给出了神经网络的泛化误差的计算公式。神经网络集成的泛化误差 等于集成中个体网络的平均泛化误差和平均差异度之差。上述的研究 从不同角度指出，神经网络集成的泛化能力很大程度上依赖于两个方 面：一是集成中各个网络个体的泛化能力，各个网络个体泛化误差的 平均值越小，则神经网络集成的泛化误差越小。二是集成中各个网络 个体的差异度，网络个体差异程度越大，神经网络集成泛化误差将越 小。然而，理论和实验证明提高了集成中网络个体的精确度，往往会 降低网络个体间的差异度，反之亦然。因此，增强神经网络集成的泛 化能力在于既要尽可能提高网络个体的精确度，同时也应尽可能地增 大集成中各个网络个体之间的差异度。

研究者提出了很多构造神经网络集成的训练方法，其中Boosting 和Bagging(BootstrapAggregating)是集成学习中最最重要的两种方法。 使用Boosting算法训练时，各网络个体的训练集决定于在其之前产生 的网络的性能，被已生成网络判断误差较大的样本将以较大的概率出 现在新网络的训练集中，以保证新网络能处理原网络不能学习的样本。 然而，使用Bagging算法训练时，自动采样技术从原始训练集中随机 独立选若干样本形成不同的训练子集，训练子集的规模往往与原数据 集一样，训练样本允许重复选择。这两种训练方法是基于变换训练数 据，目的是得到有差异度的网络个体。然而，训练集的差异并不能保 证网络个体的差异，并且这两种训练方法丧失了网络个体间的交互性。

YaoandLiu提出了一种负相关神经网络集成的训练方法。这种方法通过在神经网络集成中各个网络个体的误差函数中引入一个相关惩罚项来同时训练集成中的网络个体，能更好地得到精确度高的网络个体且增大网络个体间的差异度，以提高网络集成的泛化能力。假定一数据集所有个体都将被联结基于如下的公式：

F(xn)=1MΣi=1MFi(xn)]]>

其中M是集成中网络个体的数量，F_i(x_n)是指个体i在第n个训练样本 上的输出，则F(x_n)是指网络集成在第n个训练样本上的输出。

在负相关学习过程中，每个网络个体的误差函数e_i的定义如下：