[发明专利]基于跨维马尔科链蒙特卡罗的自适应多项式回归方法

权利要求书

1.基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，其特征在于，包括以下步骤：

首先，建立含有多项式阶次和多项式系数参数的图模型，即建立包含多项式阶次和多项式系数的贝叶斯模型；

然后，针对多项式回归问题，提出出生和死亡两种跨维的参数状态转移策略及一个不变维的参数更新策略；而后，基于跨维马尔科夫链蒙特卡罗方法，基于给定数据样本，实现多项式回归模型阶次和多项式系数的联合寻优；

具体的跨维转移核策略是：多项式阶次变高，对应出生过程，模型变为M+1阶，新生成第M+1阶的多项式系数；多项式模型阶次变低，对应死亡过程，多项式模型由M阶变为M-1阶，此时多项式其他系数不变。

2.如权利要求1所述的基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，其特征在于，包括以下步骤：

步骤1，建立有向无环概率图模型，用于对多项式回归问题中多项式系数向量a和方差σ²等未知参数后验推理的贝叶斯模型描述；

步骤2，提出出生和死亡两种跨维的参数状态转移策略及一个不变维的参数更新策略；具体如下：

1)出生过程

多项式的回归问题中，设计的出生过程是指多项式的阶次增加1的过程，即相对于原有的M阶多项式，多出生一个高阶项x^M+1，因此，多项式的阶次由M变为M+1，多项式的系数也多了一个，每次出生的多项式首次系数先选取为1，而后基于更新策略更新，若最高次项系数小于某个较小值，则舍去；

2)死亡过程

多项式的回归问题中，死亡过程是指多项式的阶次减1的过程，即相对于原有的M阶多项式，舍去最高阶项x^M，因此，多项式的阶次由M变为M-1，多项式的系数也少了一个，多项式的其他低阶系数保持不变；

3)不变维时多项式系数更新过程

除了出生和死亡两个跨维的参数转移策略外，多项式的系数更新过程是基于Gibbs抽样实现的，具体过程如下：

A、第i步迭代时，

利用式(5)抽取多项式系数a＝[a₁，a₂，a₃，…，a_m]^T，

a|(X_m,Y,σ²,δ²)～N(F,σ²H) (5)

式中，m是当前多项式的阶数，a是多项式的系数向量，Xm是自变量x针对不同次幂组成的m项多项式的各项的值，Y是多项式对应各自变量输入的多项式函数值；假设的多项式拟合的误差符合高斯分布，σ²是零均值误差的方差，δ²是一个尺度参数；式(5)中，H＝(a^Ta+∑^-1)^-1，F＝HX_mY，此处，∑^-1＝δ^-1X_m^TX_m；

利用式(6)抽取σ²值，

式中，σ²是零均值误差的方差，v₀和γ₀是假设方差参数σ²符合逆伽马分布的两个超参数，N是自变量样本个数；Xm是自变量x针对不同次幂组成的m项多项式的各项的值，Y是多项式对应各自变量输入的多项式函数值；δ²是尺度参数,P＝I_N-X_mHX_m^T，I_N是N阶单位矩阵,

利用式(7)抽取参数δ²值，

式中，Xm是自变量x针对不同次幂组成的m项多项式的各项的值，Y是多项式对应各自变量输入的多项式函数值；δ²是一个尺度参数、a是多项式的系数向量、σ²是零均值误差的方差，和是假设尺度参数δ²符合逆伽马分布的两个超参数，m是当前多项式的阶数；

B、参数i值增加1，返回步骤2，直至i取值到设置的最大迭代N结束。

在此抽样过程中，算法迭代N次，前N/2次值被舍弃，后N/2次抽取的样本均值被用来作为各未知参数的估计值。

3.根据权利要求2所述的基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，其特征在于，所述的步骤1中，有向无环概率图模型的建立方式如下：

未知变量表示为圆形框，已知的数据点对表示成矩形框，而方框表示的是未知参数的超参数；

对参数进行先验分布的假设：对于测量噪声ε，符合高斯噪声，设置其先验分布为零均值，方差为σ²，假设σ²符合共轭的逆伽马先验分布，即：σ²～IG(v₀，γ₀)，δ²是一个尺度参数，也给其假设为共轭先验分布，在这里，是超参数，给其一个固定值，参数m是回归多项式的项数(阶次)，其符合截断的泊松分布，当m取固定值时，数据矩阵X_m变为已知值，多项式系数a的先验设为多元高斯分布，即：a|(δ²，σ²，X_m)～N(0，σ²∑)，此处，∑^-1＝δ^-2X_m^TX_m，式中，m是当前多项式的阶数，a是多项式的系数向量，Xm是自变量x针对不同次幂组成的m项多项式的各项的值，假设的多项式拟合的误差符合高斯分布，σ²是零均值误差的方差，δ²是尺度参数；

对于式(3)及式(4)，ε_i＝Y_i-X_ima_i表示第i个数据样本对应的测量值和估计出的回归模型之间的误差，符合高斯分布，X_im表示X_m矩阵的第i行，采用如下的似然函数：

式中，N表示数据样本数，即要进行多项式回归或拟合的数据点个数，

贝叶斯多项式回归方法包括计算多项式系数a＝[a₁，a₂，a₃，…，a_m]^T的后验分布，以及高斯噪声的方差，根据贝叶斯理论，参数的后验分布为：

上式中，p(Y|a，m，σ²，x)是似然函数，p(a₁，a₂，…，a_m，m，σ²)是参数的先验分布，基于已知的离散点，估计出多项式的系数a＝[a₁，a₂，a₃，…，a_m]^T，

多项式的出生和死亡转移更新过程前面已经说明，当多项式项数不变时，其未知参数的Gibbs抽样更新过程，更新过程可参考步骤2中3)的采样过程，可以写出各未知参数(误差的方差、多项式系数和噪声参数δ²)的满条件分布。