[发明专利]分类模型评价指标的确定方法、装置、设备及介质

说明书

本申请公开了分类模型评价指标的确定方法、装置、设备及介质，涉及深度学习技术领域。具体实现方案为：获取分类模型的当前样本集；将所述当前样本集以及与所述当前样本集连续获取的固定数量个历史样本集，作为当前滑动窗口；根据所述当前滑动窗口确定所述分类模型的当前评价指标值。通过本申请的技术方案，能够提高模型评价结果的准确性和可信度，进而增加模型训练的稳定性。

技术领域

本申请实施例涉及计算机技术，尤其涉及深度学习技术领域，具体涉及一种分类模型评价指标的确定方法、装置、设备及介质。

背景技术

分类任务是机器学习任务中最典型、应用面最广的一种任务。而二分类，即只有正样本和负样本两种类别的任务，又是分类任务中最常见的场景。基于此，如何对二分类任务的结果进行评价就显得尤为重要。常用的二分类任务的评价指标有Precision、Recall、F1-score、AUC等。其中，AUC(Area Under Curve，曲线下面积)是最常用，也是最重要的评价指标。

具体的，AUC被定义为ROC曲线下与坐标轴围成的面积，AUC值越大，也即越接近1的分类器分类效果越好。其中，ROC(Receiver Operating Characteristic，受试者工作特征)曲线是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率为纵坐标，假阳性率为横坐标绘制的曲线。

现有技术中，在使用动态采集的样本对二分类模型进行训练后，对训练结果进行评价时，要么仅利用新采集样本的预测值结果计算分类模型的AUC值，要么使用所有样本的预测值结果重新计算分类模型的AUC值，这样会导致最终计算得到的模型评价结果并不准确，可信度低。

发明内容

提供了一种分类模型评价指标的确定方法、装置、设备以及介质，以提高模型评价结果的准确性和可信度。

根据第一方面，提供了一种分类模型评价指标的确定方法，包括：

获取分类模型的当前样本集；

将所述当前样本集以及与所述当前样本集连续获取的固定数量个历史样本集，作为当前滑动窗口；

根据所述当前滑动窗口确定所述分类模型的当前评价指标值。

根据第二方面，提供了一种分类模型评价指标的确定装置，包括：

样本集获取单元，用于获取分类模型的当前样本集；

窗口滑动单元，用于将所述当前样本集以及与所述当前样本集连续获取的固定数量个历史样本集，作为当前滑动窗口；

指标值确定单元，用于根据所述当前滑动窗口确定所述分类模型的当前评价指标值。

根据第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。

本申请实施例通过在获取到分类模型的当前样本集时，将当前样本集以及与当前样本集连续获取的固定数量个历史样本集，作为当前滑动窗口，确定该当前滑动窗口下分类模型的当前评价指标值，利用滑动窗口的方式动态输出评价指标值，解决了现有技术中由于仅对新样本或对所有样本均进行计算，而导致的模型评价结果不准确，可信度低的问题，提高了模型评价结果的准确性和可信度，进而增加了模型训练的稳定性。