[发明专利]一种多任务稀疏贝叶斯极限学习机回归方法

说明书

本发明提出一种多任务稀疏贝叶斯极限学习机回归方法，所述方法包括对于单隐含层神经网络的输入层至隐含层的随机特征提取、输出层权值的多任务稀疏建模及后验估计、多任务稀疏贝叶斯极限学习机参数和超参数快速优化估计等。本发明所述方法采用层次贝叶斯模型对极限学习机输出层权值进行多任务稀疏求解，在保证精度的前提下，裁剪了极限学习机的冗余隐含层神经元，得到了更为紧凑的神经网络，有效的避免了极限学习机的过拟合现象，并能使隐含层神经元个数无须预先确定。从稀疏贝叶斯学习的角度，前端的单隐含层神经网络可以使稀疏贝叶斯学习方法得以应用于非线性问题。

技术领域

本发明属于机器学习和土木工程技术领域，特别是涉及一种多任务稀疏贝叶斯极限学习机回归方法，所述方法适用于并非来自同一回归任务但却统计相关的数据。

背景技术

在数据量日趋庞大的当今时代，人工智能概念受到越来越广泛的关注。作为人工智能的核心部分，机器学习算法是赋予机器以人思考能力的部分。通过机器学习算法获得数据中隐含的函数关系，越来越普遍的使用在我们的日常生活中，解决了许多之前不能解决的问题。例如在岩土工程领域，对粘性土而言，液性指数、竖直有效应力、预固结应力、不排水抗剪强度、排水抗剪强度这五个参数之间的相关关系极为重要。如何利用实验实测数据拟合出高精度的参数回归关系公式是很有价值的科学问题。机器学习算法以其强大的逼近性能成为了这一科学问题的解决方案之一，针对实际土木工程问题，采用合适的机器学习算法加以解决，甚至从机器学习算法理论出发进行针对性的基础研究，是目前亟待开展的研究工作。

神经网络方法在几起几落后，随着近年来深度学习算法展现出的强大性能而再度受到人们关注。极限学习机作为其中较为经典的一个算法，通过单隐含层的简单结构，以最小二乘方法求解线性问题得到输出层权值，从而实现了极快的运算速度和较好的精度，并因此受到广泛关注。

但极限学习机算法中存在以下非常明显的不足：1、极限学习机通过最小二乘方法求解输出层权值向量，极易产生过拟合。2、极限学习机的性能严重依赖于隐含层神经元个数。相关理论研究已经证明，极限学习机的隐含层神经元个数足够多时，该模型可以以任意精度逼近数据点。但隐含层神经元个数的确定往往是人为的，这也是产生过拟合现象的主因。3、极限学习机一般在隐含层神经元取几百至几千时才能达到较高的精度，这将导致一个极为庞大的网络结构，其中必然存在许多冗余部分。

稀疏贝叶斯学习通过设置超参数来对待求解权值进行稀疏建模，可以得到待求解权值的后验概率分布且权值向量中大多数项均为零项。因此近几年提出的稀疏贝叶斯极限学习机将稀疏贝叶斯学习与极限学习机模型进行了结合，通过得到的稀疏输出层权值对隐含层神经元进行了裁剪，有效的缩减了神经网络规模，并且通过稀疏贝叶斯学习自动寻找训练精度和模型复杂度之间平衡点的能力，缓和了极限学习机中严重的过拟合现象，在一些数据集中取得了更优秀的结果。

从稀疏贝叶斯学习角度来说，传统稀疏贝叶斯学习由于其似然函数建模为线性函数，导致稀疏贝叶斯学习仅适用于线性问题。通过前置单层随机神经网络，即极限学习机的前端，可以将输入特征从低维映射到随机高维空间，从而解决线性不可分问题。由此可将稀疏贝叶斯学习从仅适用于线性问题推广到适用于非线性问题。

在实际问题中，我们往往拥有一些并非来自同一工况但却统计相关或并非针对同一目标而是针对若干个相关目标的数据。这些数据之间构成了多任务情景。研究如何将这些数据一起利用起来，服务于各自工况的模型训练，是非常有意义的。例如在岩土工程中，对于粘性土，可以通过液性指数、竖直有效应力两项信息分别推断预固结应力和土壤灵敏度，但考虑到预固结应力和土壤灵敏度之间具有相关关系，由此可将两个独立的单任务问题联合进行多任务学习，利用不同任务间的相关性进行学习，不仅能挖掘多余的数据信息，还可以避免针对单个任务的过拟合，提高泛化性能。基于层次稀疏贝叶斯模型的多任务学习算法已经得到了广泛的应用，如在压缩采样领域等。

目前，使用极限学习机算法进行多任务学习的例子还并不多，相关理论研究开展较少。将极限学习机及其相关算法推广到多任务情境下是亟待解决的问题。