[发明专利]模型的性能检测方法和相关设备

说明书

本发明提供一种模型的性能检测方法和相关设备，属于数据分析技术领域，该方法包括：获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；将各个所述用户信息输入至模型，得到每个所述用户的预测值；根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化。本发明中，通过将用户的信息输入至模型得到预测值，再通过各个用户的预测值以及用户是否购买金融产品的标签确定模型是否需要优化，无需人工进行模型性能的监测，提高了模型的性能监测效率。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种模型的性能检测方法和相关设备。

背景技术

在金融机构的业务中，通常采用模型来预测用户是否购有买金融产品的意向。通过模型的预测，能够针对性的对用户群体进行金融产品的推荐。模型在训练完成后，在将模型投入应用。模型在投入应用后，会留有观察期来监控模型的性能。

示例性技术中，通过模型预测的效果与产品的成交数据来评测模型的性能。但用于评价模型的性能的指标过于专业，一般的业务人员无法基于模型的监测数据解读模型性能的优劣，导致模型的性能监测的效率低。

发明内容

本发明提供一种模型的性能检测方法和相关设备，用以解决模型的性能监测的效率低的问题。

一方面，本发明提供一种模型的性能检测方法，包括：

获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；

将各个所述用户信息输入至模型，得到每个所述用户的预测值，所述预测值用于预测所述用户是否购买所述金融产品；

根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；

根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化，所述目标参数用于指示所述模型的性能。

在一实施例中，所述根据各个所述用户对应的预测值以及标签确定模型提升率，包括：

根据各个所述用户的标签确定所述金融产品成交的第一比例，并按照从大到小的顺序对所述预测值进行排序；

根据排序后的各个所述预测值获得多个集合，其中，所述集合包括的各个所述预测值对应的排序序号依次相邻，且任一个所述集合是其他的所述集合的子集或者母集；

根据所述集合中的各个预测值对应的用户的标签，确定所述集合对应的所述金融产品成交的第二比例，并根据所述第二比例以及第一比例确定所述集合对应的模型提升率。

在一实施例中，所述根据排序后的各个所述预测值获得多个集合之后，所述根据各个所述用户对应的预测值以及标签确定模型增益率，包括：

根据各个所述用户的标签确定购买所述金融产品的用户的第一总数量；

根据所述集合中各个预测值对应的用户的标签，确定所述集合中购买所述金融产品的用户的第一数量；

根据所述集合对应的第一数量以及所述第一总数量确定所述集合对应的模型增益率。

在一实施例中，所述根据所述模型提升率以及所述模型增益率确定目标参数，包括：

根据各个所述集合对应的模型提升率确定所述模型在所述预设时间段的平均提升率，并根据各个所述集合对应的模型增益率确定所述模型在预设时间段内的平均增益率；

根据所述平均增益率以及平均提升率确定目标参数。

在一实施例中，所述根据所述目标参数值确定模型是否需要进行优化包括：