[发明专利]基于流形正则和范数正则的领域迁移极限学习机方法

说明书

本发明公开了一种基于流形正则和范数正则的领域迁移极限学习机方法。在传统的极限学习机基础上，引入半监督学习和迁移学习的思想，构造了一种新的极限学习机模型，由3部分组成：能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项；同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项；约束权值空间的范数正则子。本发明结合源领域来处理目标领域的预测问题，提高了极限学习机的泛化能力和应用范围。其中，流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果，克服了传统机器学习方法需要大量有标签数据的限制，同时也提高了预测的准确性和鲁棒性。

技术领域

本发明涉及一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，属于机器学习和模式识别技术领域。

背景技术

人工神经网络因其强大的自适应、自组织、自学习和非线性映射能力，已广泛应用于生物、化学、医学、经济、海洋等各种领域。但是传统的神经网络，如反向传播(BackPropagation，BP)网络，需要人为设置大量的网络训练参数，训练速度慢、很容易产生局部最优解。针对以上问题，Huang提出一种叫做极限学习机(Extreme Learning Machine，ELM)的单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFNs)新算法。该算法的核心主要是两个部分：一是随机产生输入权重和隐层偏置，避免了迭代调节参数；二是将神经网络的训练问题变化成求解最小二乘的问题，产生唯一的最优解，避免了人工神经网络需要人为的调整参数和易于陷入局部最优解的缺陷。ELM算法因其简单易实现、学习速度快、泛化能力强等特点，近年来受到越来越多的关注。然而，传统ELM需要大量的有标签数据来训练分类器，要求训练数据和待识别目标具有相同的分布特性即不具备领域迁移能力等。而在现实生活中，给数据打上标签会耗费大量的人力、物力，而且待识别目标与训练数据不一定满足分布相同这一条件，例如AUV进行海底环境探索的实际过程中，受环境(光线，海水浊度，地质特点等)等因素影响，AUV在海底两个不同海域采集到的图像会存在数据偏移现象并且具有先验知识的(有标签数据)训练样本数据往往是少量的。

发明内容

本发明将半监督学习、迁移学习、极限学习机有机结合，提出了一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，以弥补现有技术的不足。

为达到上述目的，本发明采取的具体技术方案为：

步骤1：设源领域数据为D_S＝{X_S}，其中源领域有标签数据T_S是相应的类别标签，源领域无标签数据目标领域数据为D_T＝{X_T}，其中目标领域有标签数据T_T是相应的类别标签，目标领域无标签数据把第i个数据样本表示成x_i＝[x_i1,x_i2,…,x_in]T，n是每个数据的特征维度；

步骤2：随机产生极限学习机的隐层节点参数(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是连接第i个隐层节点和输入神经元的输入权重，n是输入神经元的个数，即等于数据的特征维度，b_i是第i个隐层节点的偏置，L是隐层节点个数；

步骤3：对于N个输入样本X＝{x₁,x₂,...,x_N}，计算相应的隐层输出矩阵：