[发明专利]一种分布式环境下监督学习算法的基准测试方法和装置

说明书

技术领域

本申请涉及机器学习技术领域，特别是涉及一种分布式环境下监督学习算法的基准测试方法和一种分布式环境下监督学习算法的基准测试装置。

背景技术

机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。

目前，机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。

在机器学习领域，监督学习、非监督学习以及半监督学习是三类研究比较多、应用比较广的机器学习技术，上述三种学习的简单描述如下：

监督学习：通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。

非监督学习：直接对输入数据集进行建模，例如聚类。

半监督学习：综合利用有类标的数据和没有类标的数据，来生成合适的分类函数。

按照部署结构的不同，监督学习被分为单机环境下的监督学习和分布式环境下的监督学习，分布式环境下的监督学习是指由处于不同物理位置的多个具备不同和/或相同物理结构的设备执行监督学习算法的一种监督学习解决方案。

由于分布式环境下的监督学习在设备部署上的复杂性，其在资源协调通信和消耗因素较多，这使得对于分布式环境下的监督学习算法的基准测试(benchmark)，也就是，对分布式环境下的监督学习算法的性能进行评估的难度更大。

目前，针对分布式环境下监督学习算法的基准测试问题，还没有完整、 有效的方案被提出。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种分布式环境下监督学习算法的基准测试方法和相应的一种分布式环境下监督学习算法的基准测试装置。

为了解决上述问题，本申请公开了一种分布式环境下监督学习算法的基准测试方法，所述方法包括：

获取根据基准测试中的输出数据所确定的第一基准测试结果；

获取所述基准测试中的分布式性能指标，将所述分布式性能指标确定为第二基准测试结果；

将所述第一基准测试结果和第二基准测试结果合并得到基准测试总结果。

优选地，所述获取根据基准测试中的输出数据所确定第一基准测试结果之前，所述方法还包括：

确定待测试监督学习算法；

按照评估模型对所述待测试监督学习算法进行基准测试得到输出数据；

根据基准测试中的输出数据确定第一基准测试结果。

优选地，所述按照评估模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

按照交叉验证模型对所述待测监督学习算法进行基准测试得到输出数据；或者，

按照标记Label按比例分配模型对所述待测监督学习算法进行基准测试得到输出数据；或者，

按照交叉验证模型和Label按比例分配模型分别对所述待测监督学习算法进行基准测试得到输出数据。

优选地，所述按照交叉验证模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

取一测试数据样本；

将所述测试数据样本中的数据等分为N份；

对所述N份数据执行M轮基准测试；其中，

在每一轮基准测试中，包括以下步骤：

将所述N份数据中的N-1份确定为训练数据，其余一份确定为预测数据，其中，M轮基准测试中，每一份数据仅有一次被确定为预测数据的机会，其中，所述M、N为正整数；

将所确定的N-1份训练数据提供给所述待测试监督学习算法进行学习得到一个函数；

将所确定的一份预测数据中的输入数据提供给所述函数，得出输出数据。

优选地，所述按照Label按比例分配模型对所述待测试监督学习算法进行基准测试得到输出数据，包括：

取一测试数据样本，所述测试数据样本包括：具备第一标记的数据和具备第二标记的数据；

分别将所述测试数据样本中具备第一标记的数据和具备第二标记的数据等分为N份；

对所述等分后得到的2N份数据执行M轮基准测试；其中，

在每一轮基准测试中包括以下步骤：