[发明专利]模型超参数确定方法、模型训练方法及系统

说明书

本说明书的实施例提供用于确定机器学习模型的超参数的方法及装置。在该方法中，第一成员设备将机器学习模型的当前超参数分发给各个第二成员设备。各个第二成员设备使用各自的训练样本集以及机器学习模型的当前超参数来按照隐私保护方式训练出机器学习模型。各个第二成员设备使用各自的测试样本集评估所训练出的机器学习模型的模型指标。在未满足循环结束条件时，经由第一成员设备确定下一循环过程的当前超参数来循环执行上述过程，并且每次循环过程的超参数与所确定的模型指标对应地存储在超参数数据库中。在满足循环结束条件时，第一成员设备将超参数数据库中模型指标最好的超参数确定为机器学习模型的超参数。

技术领域

本说明书实施例通常涉及机器学习领域，尤其涉及用于确定机器学习模型的模型超参数的方法及装置、机器学习模型的模型训练方法及机器学习模型训练系统。

背景技术

近年来，随着机器学习技术的不断发展，机器学习模型被越来越广泛地应用于各种应用场景。在机器学习模型训练之前，需要确定机器学习模型的超参数。机器学习模型的超参数的优劣会大大影响机器学习模型的模型训练性能和模型训练效率。

发明内容

鉴于上述，本说明书实施例提供用于确定机器学习模型的超参数的方法、装置及机器学习模型训练系统。利用该方法及装置，可以在基于隐私保护的模型训练方案下实现超参数优化，由此提升机器学习模型的模型训练性能和模型训练效率。

根据本说明书实施例的一个方面，提供一种用于确定机器学习模型的超参数的方法，包括：执行下述循环过程，直到满足循环结束条件：经由第一成员设备将机器学习模型的当前超参数分发给各个第二成员设备，每个第二成员设备具有训练样本集和测试样本集；经由各个第二成员设备使用各自的训练样本集以及机器学习模型的当前超参数来按照隐私保护方式训练出机器学习模型；经由各个第二成员设备使用各自的测试样本集评估所训练出的机器学习模型的模型指标；经由第一成员设备将所述当前超参数与所确定的模型指标对应地存储在超参数数据库中；以及在未满足所述循环结束条件时，经由第一成员设备确定下一循环过程的当前超参数，所确定的超参数位于超参数取值区间内，在满足所述循环结束条件时，经由第一成员设备将所述超参数数据库中模型指标最好的超参数确定为所述机器学习模型的超参数。

可选地，在上述方面的一个示例中，经由第一成员设备确定下一循环过程的当前超参数包括：经由第一成员设备使用搜索算法来从超参数取值区间中确定下一循环过程的当前超参数。

可选地，在上述方面的一个示例中，所述搜索算法包括下述搜索算法中的一种：网格搜索算法、贝叶斯搜索算法和随机搜索算法。

可选地，在上述方面的一个示例中，经由第一成员设备确定下一循环过程的当前超参数包括：经由第一成员设备基于预定生成算法或随机生成算法来生成下一循环过程的当前超参数，所生成的超参数位于超参数取值区间内。

可选地，在上述方面的一个示例中，所述隐私保护方式包括下述隐私保护方式中的至少一种：基于秘密分享的隐私保护方式；基于混淆电路的隐私保护方式；基于同态加密的隐私保护方式；基于不经意传输的隐私保护方式；以及基于差分隐私的隐私保护方式。

可选地，在上述方面的一个示例中，所述循环结束条件包括：达到预定循环次数；或者所确定出的模型指标满足预设模型指标条件。

可选地，在上述方面的一个示例中，所述方法还包括：经由第一成员设备定义所述机器学习模型的模型训练过程所使用的超参数清单以及各个超参数的超参数取值区间。

可选地，在上述方面的一个示例中，所述第一成员设备由所述第二成员设备中的一个第二成员设备充当。

根据本说明书的实施例的另一方面，提供一种机器学习模型训练方法，包括：经由第一成员设备与各个第二成员设备协同来按照如上所述的方法确定机器学习模型的超参数；以及经由各个第二成员设备使用各自的训练样本集以及所确定的超参数来按照隐私保护方式训练出机器学习模型。