[发明专利]一种基于切线单折线法的信赖域求解逻辑回归分析的方法

权利要求书

1.一种基于切线单折线法的信赖域求解逻辑回归分析的方法，其特征在于，该方法包括以下步骤：

步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；

Logistic函数为：

由公式(1)和(2)得到的预测拟合函数为：

步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；

其中，代价函数为：

逻辑回归分析的求解目标为：

步骤S3：构造信赖域模型子问题；

在θ_k的Δ_k邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题；

其中δ＝θ-θ_k，J_k＝J(θ_k)，G_k是Hessian矩阵或其近似，Δ_k＞0为信赖域半径；

步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；

记其最优解为d_k，ΔJ_k:＝J_k-J(θ_k+d_k)为J在第k步中的实际下降量，对应的预测下降量为Δq_k:＝q_k(0)-q_k(d_k)；

定义比值为

其中，Δq_k＞0，若r_k＜0，表明q_k(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)；r_k越接近1，表明q_k(δ)与J(θ)的一致性程度越好，此时θ_k+1:＝θ_k+d_k作为新的迭代点，同时增大Δ_k进行下一次迭代；对于其他情况，Δ_k可以保持不变；直到迭代点θ_k满足终止准则，那么θ＝θ_k即为逻辑回归分析的求解目标的最优数值解。

2.根据权利要求1所述的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，其特征在于，逻辑回归分析的求解目标的推导过程为：

现已得到预测拟合函数它表示结果取1的概率，因此有

综合起来就是P(y|x；θ)＝(h_θ(x))^y(1-h_θ(x))^1-y

取似然函数为

对其求对数，得

最大似然估计就是求使得l(θ)取最大值时的θ，取则变为J(θ)取最小值时的θ，即