[发明专利]一种多任务稀疏贝叶斯极限学习机回归方法

权利要求书

1.一种多任务稀疏贝叶斯极限学习机回归方法，其特征在于：所述回归方法应用于岩土工程中，具体包括以下步骤：

步骤一、对于单隐含层神经网络，由零均值高斯分布随机生成神经网络输入层权值矩阵Φ和隐含层神经元偏置矩阵B，对全部L个任务的输入x_i(i＝1...L)均使用相同的Φ和B映射到高维空间H_i＝f(x_iΦ+B)，从而构建L个任务的基函数矩阵H_i；

步骤二、通过多任务稀疏贝叶斯学习方法，从L个任务的基函数矩阵H_i和L个任务的输出t_i(i＝1...L)中推断出L个任务共享的超参数α_j，j＝1...M，M为隐含层神经元个数，并得到每个任务各自的输出层权值w_i的后验概率分布；

步骤三、从输出层权值w_i的后验概率分布中选取合适的值作为神经网络输出层权值，令每个任务输出层权值w_i＝μ_i，μ_i为后验概率分布最大值处，在高斯分布中为均值；

所述全部L个任务包括任务1和任务2，对于任务1，以液性指数、竖向有效应力为输入，土壤灵敏度的对数值为输出；对于任务2，以液性指数、竖向有效应力为输入，预固结应力的对数值为输出。

2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：

步骤1.1、基于极限学习机的回归问题能够统一写为：

其中，w_j为输出层权值，θ_j为与第j个隐含层节点相连输入层权值与隐含层偏置参数，对于全部M个隐含层节点Θ＝[θ₁，...，θ_M]，包含了从零均值高斯分布中随机生成的神经网络输入层权值矩阵Φ和隐含层神经元的偏置矩阵B；h_j(.)为激活函数，极限学习机中取为

步骤1.2、对全部L个任务，均使用相同输入层至隐含层参数Θ，即全部L个任务的输入层权值矩阵Φ和隐含层神经元偏置矩阵B均相同，仅输入x_i不同，从而由不同任务中得到L个行数不同、列数相同的基函数矩阵：

其中，N为数据量；

步骤1.3、步骤1.1中的回归问题改写为矩阵形式：

Hw＝T

对于极限学习机而言，通过求H的M-P广义逆能够求解输出层权值w；在多任务稀疏贝叶斯极限学习机中，通过层次贝叶斯模型对输出层权值w进行求解。

3.根据权利要求2所述的方法，其特征在于：所述步骤二具体为：

步骤2.1、对于第i个任务的输出层权值w_i，其先验分布建模为零均值高斯分布：

其中，α₀为噪声精度参数，其先验建模为Gamma分布：

p(α₀|a，b)＝Ga(α₀|a，b)

其中，a是形状参数，b是逆尺度参数；

步骤2.2、对于第i个任务的输出层权值w_i，其后验分布经推导为：

其中：

A＝diag(α₁，α₂，...，α_M)

步骤2.3、超参数α通过经验贝叶斯方法估计，并可得到输出层权值的后验分布μ，∑：具体为：

步骤2.3.1、初始化α：对j＝1...M分别计算证据函数增量：

其中：

K_i＝N_i+2a

s_i，j＝H′_i，jH_i，j

q_i，j＝H′_i，jt_i

g_i，j＝t′_it_i+2b

对证据函数增量最大的神经元j，重新估计其对应的超参数α_j：

步骤2.3.2、如用j表示α发生更新的基函数序号，k表示当前已考虑的基函数序号，l表示全部基函数序号，只需进行如下步骤的循环即可求解参数和超参数α，μ，∑：

(1)通过α_j计算出每个任务的μ_i，∑_i，S_i，l，Q_i，l，G_i；

(2)通过以下公式计算判别式θ_j

s_i，j＝α_jS_i，j/(α_j-S_i，j)

q_i，j＝α_jQ_i，j/(α_j-S_i，j)

θ_j大于0的基函数保留在模型中，θ_j小于0的基函数从模型中剔除，由此形成三种状态：增添基函数、删除基函数、重新估计基函数；对应三种状态分别求出证据函数的增量，选择增量最大的方案对α_j进行修改，即令表示更新后的超参数α_j，重复上述过程进行循环；

对于增添基函数、删除基函数和重新估计基函数，下面给出α_j更新后证据函数增量及μ_i，∑_i，S_i，l，Q_i，l，G_i的计算方法，对于多任务情况，总的证据函数增量只需对所有任务的证据函数增量进行求和即可；

a.增添基函数

通过以下公式计算μ_i，∑_i，S_i，l，Q_i，l，G_i：

其中，∑_i，jj＝(α_i，j+S_i，j)^-1，μ_i，j＝∑_i，jjQ_i，j，e_i，j＝H_i，j-H_i∑_iH′_iH_i，j

b.重新估计基函数

通过以下公式计算μ_i，∑_i，S_i，l，Q_i，l，G_i：

其中，∑_i，k是∑_i的第k列，

c.删除基函数

通过以下公式计算μ_i，∑_i，S_i，l，Q_i，l，G_i：

步骤2.4、当证据函数增量小于阈值时，结束循环，得到单隐含层神经网络输出层权值的后验概率分布均值μ_i，令每个任务的输出层权值w_i＝μ_i即可，得到的每个任务的输出层权值w_i为高度稀疏的，且对于所有任务，w_i中非零项出现在相同位置。