[发明专利]模型超参数确定方法、模型训练方法及系统

权利要求书

1.一种用于确定机器学习模型的超参数的方法，包括：

执行下述循环过程，直到满足循环结束条件：

经由第一成员设备将机器学习模型的当前超参数分发给各个第二成员设备，每个第二成员设备具有训练样本集和测试样本集；

经由各个第二成员设备使用各自的训练样本集以及机器学习模型的当前超参数来按照隐私保护方式训练出机器学习模型；

经由各个第二成员设备使用各自的测试样本集评估所训练出的机器学习模型的模型指标；

经由第一成员设备将所述当前超参数与所确定的模型指标对应地存储在超参数数据库中；以及

在未满足所述循环结束条件时，经由第一成员设备确定下一循环过程的当前超参数，所确定的超参数位于超参数取值区间内，

在满足所述循环结束条件时，经由第一成员设备将所述超参数数据库中模型指标最好的超参数确定为所述机器学习模型的超参数，

其中，经由第一成员设备确定下一循环过程的当前超参数包括：

经由第一成员设备使用搜索算法来从超参数取值区间中确定下一循环过程的当前超参数，或者

经由第一成员设备基于预定生成算法或随机生成算法来生成下一循环过程的当前超参数，所生成的超参数位于超参数取值区间内。

2.如权利要求1所述的方法，其中，所述搜索算法包括下述搜索算法中的一种：网格搜索算法、贝叶斯搜索算法和随机搜索算法。

3.如权利要求1所述的方法，其中，所述隐私保护方式包括下述隐私保护方式中的至少一种：

基于秘密分享的隐私保护方式；

基于混淆电路的隐私保护方式；

基于同态加密的隐私保护方式；

基于不经意传输的隐私保护方式；

基于差分隐私的隐私保护方式。

4.如权利要求1所述的方法，其中，所述循环结束条件包括：

达到预定循环次数；或者

所确定出的模型指标满足预设模型指标条件。

5.如权利要求1所述的方法，还包括：

经由第一成员设备定义所述机器学习模型的模型训练过程所使用的超参数清单以及各个超参数的超参数取值区间。

6.如权利要求1所述的方法，其中，所述第一成员设备由所述第二成员设备中的一个第二成员设备充当。

7.一种机器学习模型训练方法，包括：

经由第一成员设备与各个第二成员设备协同来按照权利要求1到6中任一所述的方法确定机器学习模型的超参数，并将所确定的超参数分发给各个第二成员设备；以及

经由各个第二成员设备使用各自的训练样本集以及所接收的超参数来按照隐私保护方式训练出机器学习模型。