[发明专利]一种用于对模型输出分进行校准的方法和装置

说明书

本发明的目的是提供一种用于对模型输出分进行校准的方法和装置。所述方法包括以下步骤：使用评分模型对样本集进行评分，得到各个样本对应的模型输出分和逾期标签；根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点；基于所述多个数据点进行拟合，得到相应的变换函数；基于所述变换函数，对模型输出分进行校准。本申请实施例具有以下优点：通过使用非线性的自定义函数作为变换函数，提升了校准函数的拟合能力；通过将模型输出分数的优势比的对数值作为变换函数的入参，相较于现有的普拉特缩放校准方案，提升了校准效果。

技术领域

本发明涉及计算机技术领域，尤其涉及用于用于对模型输出分进行校准的方法和装置。

背景技术

在信贷业务场景下，使用者需要关注模型输出某一分值时所代表的真实概率。传统的信贷风控业务中大多使用逻辑回归模型来预测客户的逾期风险。逻辑回归模型的输出值天然具有概率性质，一般无需对模型输出结果做校准。

然而，随着类似于支持向量机这种并非以最小化交叉熵为目标函数的模型开始被应用于风控业务中，模型输出分相对于真实逾期概率可能会发生偏离。若是在训练模型前对训练样本集做了过采样、欠采样处理，或是赋予不同样本不同的权重，则模型输出分更是无法代表全量样本的逾期概率。这种情形下，必须先对模型输出分做校准后，才能提供给业务方使用。

基于现有技术的方案中比较常见的校准方案是普拉特缩放(Platt Scaling)，普拉特缩放方案以模型输出分为自变量，以样本标签为预测目标，选用逻辑回归模型进行建模，并将逻辑回归模型的输出值作为校准结果。这里，普拉特缩放实质上是利用了逻辑回归模型输出值等价于逾期概率的性质。普拉特缩放的函数形式如下所示：

对该普拉特缩放的函数形式稍加变换，表示如下：

其中，方程等号左侧是样本真实逾期概率的优势比的对数值，右侧是对模型输出分的线性变换。但线性变换关系过于简单，对模型输出分的修正较为有限。若是方程左侧的计算值相对于f(x_i)的散点分布近似于线性分布，通过普拉特缩放就能够得到较好的校准效果；若不是，则普拉特缩放效果不佳。

从样本分布及上面方程等号两侧的取值范围做分析。f(x_i)为概率值，取值范围为(0,1)，故等号右边部分的取值范围为(B,A+B)。在信贷风控业务中，零样本的数目远多于正样本，模型分f(x_i)的值多数趋近于零，故等号右边部分数值分布是个严重有偏的分布。在等号左侧，对有偏的概率值的优势比再取对数之后，数值分布更接近取值范围为(-∞,∞)的正态分布。f(x_i)概率值的分布越接近于0，则等号左侧的正态分布整体向负值方向移动远离原点，但依然服从正态分布。

因此，由于公式(2)所示的普拉特缩放函数的等号左侧和右侧的数值取值范围不同，数值分布不同，通过普拉特缩放获得的信用分校正结果效果有限，有较大的优化空间。

发明内容

本发明的目的是提供一种用于对模型输出分进行校准的方法和装置。

根据本申请的实施例，提供了用于对模型输出分进行校准的方法，其中，所述方法包括以下步骤：

使用评分模型对样本集进行评分，得到各个样本对应的模型输出分和逾期标签；

根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点，其中，所述数据点的横坐标为部分样本模型输出分的平均分的优势比的对数值，纵坐标为部分样本真实逾期概率的优势比的对数值；

基于所述多个数据点进行拟合，得到相应的变换函数，其中，所述变换函数为非线性函数；

基于所述变换函数，对模型输出分进行校准。