[发明专利]预测模型的质量评价方法、装置及电子设备

说明书

本申请公开了一种预测模型的质量评价方法、装置以及电子设备，以及另外三种预测模型的质量评价方法和装置。其中所述预测模型的质量评价方法包括：获取具有实际实施效果数据的历史业务对象，形成用于模型评价的历史业务对象集；根据所述历史业务对象集，通过至少两种预设的基于历史数据的模型评测算法，获取各种所述基于历史数据的模型评测算法分别对待评价模型的评测结果；根据获取的各个评测结果，通过预设决策算法获取所述待评价模型的决策结果；将所述决策结果作为所述待评价模型的质量评价结果。采用本申请提供的方法，能够在待评价模型实施前对其进行质量评价，从而达到提高运营效率的效果。

技术领域

本申请涉及机器学习技术领域，具体涉及一种预测模型的质量评价方法；相应于上述方法，本申请同时涉及一种预测模型的质量评价装置以及电子设备，以及另外三种预测模型的质量评价方法和装置。

背景技术

随着机器学习技术的不断发展与普及，越来越多的领域采用通过机器学习算法生成的预测模型对具体业务的实施进行指导，即：采用数据化运营方式替代人工运行方式做决策。例如，通过商品审核模型确定哪些商品能够参加聚划算活动、通过商品库存的预测模型对某个商品在各个仓库的配备比例进行指导等。区别于传统的人工运营方式，数据化运营通过预测模型对业务进行指导，从而实现全程无人工干预的高效运行方式。

预测模型都是基于一些预测算法结合历史相关数据训练得到的，预测模型的质量将对业务实施的效果产生极大影响。具体而言，高质量的预测模型能够准确的对业务进行指导，反之，质量较差的预测模型对业务的指导可能是完全错误的。可见，预测模型的质量评测是一个需要解决的问题，即：如果评估预测模型的实施效果。一个有效的预测模型质量评测方法，既能够对预测模型的质量进行评测，还能够对预测模型的调整进行指导。

现有的预测模型评测方法一般都是通过观察实际业务效果(即：业务上线效果)来评判预测模型的。在实际业务效果与预测模型具有直接对应关系的前提下，从模型实施到最终看到实际业务效果通常需要等待一段漫长的时间。因此，现有预测模型评测方法存在无法在模型实施前即可对其进行质量评价的问题。

发明内容

本申请提供一种预测模型的质量评价方法，以解决现有技术下无法在模型实施前对其进行质量评价的问题。本申请另外提供一种预测模型的质量评价装置以及电子设备，以及另外三种预测模型的质量评价方法和装置。

本申请提供一种预测模型的质量评价方法，包括：

获取具有实际实施效果数据的历史业务对象，形成用于模型评价的历史业务对象集；

根据所述历史业务对象集，通过至少两种预设的基于历史数据的模型评测算法，获取各种所述基于历史数据的模型评测算法分别对待评价模型的评测结果；

根据获取的各个评测结果，通过预设决策算法获取所述待评价模型的决策结果；

将所述决策结果作为所述待评价模型的质量评价结果。

可选的，所述基于历史数据的模型评测算法包括：

获取通过待评价模型审核的业务对象，形成通过模型审核的业务对象集；

根据所述业务对象的特征数据，通过预设相似度算法获取所述通过模型审核的业务对象集包括的各个业务对象分别与所述历史业务对象集包括的各个历史业务对象的相似度；

针对所述通过模型审核的业务对象集包括的各个业务对象，根据所述相似度从所述历史业务对象集内选取与所述通过模型审核的业务对象集包括的各个业务对象最相似的历史业务对象，形成与所述通过模型审核的业务对象集对应的业务对象映射集；

根据所述历史业务对象集包括的各个历史业务对象的所述实际实施效果数据，获取所述业务对象映射集包括的所述历史业务对象的所述实际实施效果数据的平均值；