[发明专利]模型的性能检测方法和相关设备

权利要求书

1.一种模型的性能检测方法，其特征在于，包括：

获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；

将各个所述用户信息输入至模型，得到每个所述用户的预测值，所述预测值用于预测所述用户是否购买所述金融产品；

根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；

根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化，所述目标参数用于指示所述模型的性能。

2.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据各个所述用户对应的预测值以及标签确定模型提升率，包括：

根据各个所述用户的标签确定所述金融产品成交的第一比例，并按照从大到小的顺序对所述预测值进行排序；

根据排序后的各个所述预测值获得多个集合，其中，所述集合包括的各个所述预测值对应的排序序号依次相邻，且任一个所述集合是其他的所述集合的子集或者母集；

根据所述集合中的各个预测值对应的用户的标签，确定所述集合对应的所述金融产品成交的第二比例，并根据所述第二比例以及第一比例确定所述集合对应的模型提升率。

3.根据权利要求2所述的模型的性能检测方法，其特征在于，所述根据排序后的各个所述预测值获得多个集合之后，所述根据各个所述用户对应的预测值以及标签确定模型增益率，包括：

根据各个所述用户的标签确定购买所述金融产品的用户的第一总数量；

根据所述集合中各个预测值对应的用户的标签，确定所述集合中购买所述金融产品的用户的第一数量；

根据所述集合对应的第一数量以及所述第一总数量确定所述集合对应的模型增益率。

4.根据权利要求3所述的模型的性能检测方法，其特征在于，所述根据所述模型提升率以及所述模型增益率确定目标参数，包括：

根据各个所述集合对应的模型提升率确定所述模型在所述预设时间段的平均提升率，并根据各个所述集合对应的模型增益率确定所述模型在预设时间段内的平均增益率；

根据所述平均增益率以及平均提升率确定目标参数。

5.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据所述目标参数值确定模型是否需要进行优化包括：

确定所述目标参数与预设阈值之间的差值；

在所述差值与所述预设阈值之间的比值大于预设比值时，确定所述模型需要进行优化；

在所述差值与所述预设阈值之间的比值小于或等于预设比值时，确定所述模型不需要进行优化。

6.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据所述目标参数确定所述模型是否需要进行优化，包括：

基于上限的预测值以及下限的预测值划分得到多个分区，并根据各个所述用户的标签确定购买金融产品的用户的第一总数量以及未购买金融产品的用户的第二总数量；

根据各个所述用户对应的预测值以及标签，确定每个分区对应的用购买金融产品的用户的第二数量、未购买金融产品的用户的第三数量；

确定所述第二数量与所述第一总数量之间的第一比值，并确定所述第三数量以及所述第二总数量之间的第二比值；

根据每个所述分区以及对应的第一比值确定第一曲线，并根据各个所述分区以及对应的第二比值确定第二曲线；

根据所述第一曲线与所述第二曲线在坐标系合围构成的区域所对应的面积，以及所述目标参数确定所述模型是否需要进行优化。