[发明专利]一种分布式环境下监督学习算法的基准测试方法和装置

权利要求书

1.一种分布式环境下监督学习算法的基准测试方法，其特征在于，所述方法包括：

获取根据基准测试中的输出数据所确定的第一基准测试结果；

获取所述基准测试中的分布式性能指标，将所述分布式性能指标确定为第二基准测试结果；

将所述第一基准测试结果和第二基准测试结果合并得到基准测试总结果。

2.根据权利要求1所述的方法，其特征在于，所述获取根据基准测试中的输出数据所确定第一基准测试结果之前，所述方法还包括：

确定待测试监督学习算法；

按照评估模型对所述待测试监督学习算法进行基准测试得到输出数据；

根据基准测试中的输出数据确定第一基准测试结果。

3.根据权利要求2所述的方法，其特征在于，所述按照评估模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

按照交叉验证模型对所述待测监督学习算法进行基准测试得到输出数据；或者，

按照标记Label按比例分配模型对所述待测监督学习算法进行基准测试得到输出数据；或者，

按照交叉验证模型和Label按比例分配模型分别对所述待测监督学习算法进行基准测试得到输出数据。

4.根据权利要求3所述的方法，其特征在于，所述按照交叉验证模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

取一测试数据样本；

将所述测试数据样本中的数据等分为N份；

对所述N份数据执行M轮基准测试；其中，

在每一轮基准测试中，包括以下步骤：

将所述N份数据中的N-1份确定为训练数据，其余一份确定为预测数据，其中，M轮基准测试中，每一份数据仅有一次被确定为预测数据的机会，其 中，所述M、N为正整数；

将所确定的N-1份训练数据提供给所述待测试监督学习算法进行学习得到一个函数；

将所确定的一份预测数据中的输入数据提供给所述函数，得出输出数据。

5.根据权利要求3所述的方法，其特征在于，所述按照Label按比例分配模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

取一测试数据样本，所述测试数据样本包括：具备第一标记的数据和具备第二标记的数据；

分别将所述测试数据样本中具备第一标记的数据和具备第二标记的数据等分为N份；

对所述等分后得到的2N份数据执行M轮基准测试；其中，

在每一轮基准测试中包括以下步骤：

将所述N份具备第一标记的数据中的一份确定为训练数据、并将剩余数据中的一份或多份确定为预测数据，同时，将所述N份具备第二标记的数据中的一份确定为训练数据、并将剩余数据中的一份或多份确定为预测数据，其中，所述M、N为正整数；

将所确定的具备第一标记和第二标记的训练数据提供给所述待测试监督学习算法进行学习得到一个函数；

将所确定的具备第一标记和第二标记的预测数据中的输入数据提供给所述函数，得到输出数据。

6.根据权利要求1至5其中任一项所述的方法，其特征在于，所述第一基准测试结果包括以下指标至少其中之一：判断为真的正确率TP、判断为假的正确率TN、误报率FP及漏报率FN、精度Precision、召回率Recall及准确度Accuracy；

所述第二基准测试结果包括以下指标至少其中之一：待测试监督学习算法对处理器的使用情况CPU、待测试监督学习算法对内存的使用情况MEM、待测试监督学习算法的迭代次数Iterate及待测试监督学习算法的使用时间 Duration。

7.根据权利要求1至5其中任一项所述的方法，其特征在于，所述得到基准测试总结果后，所述方法还包括：

根据所述第一基准测试结果确定F1得分；以及，通过以下方式对所述待测试监督学习算法进行性能评估：

当F1得分相同或者接近时，待测试监督学习算法的Iterate值越小则确定待测试监督学习算法性能越好；或者，

当F1指标相同时，待测试监督学习算法的CPU、MEM、Iterate及Duration值越小，则确定待测试监督学习算法性能越好。