[发明专利]一种筛选机器学习模型的方法及装置

权利要求书

1.一种筛选机器学习模型的方法，其特征在于，包括：

通过第一数据集构建多组第一使用集，其中，各组第一使用集对应的验证集均不同且各组第一使用集对应的训练集均不同；

针对每个待筛选模型，确定所述待筛选模型在每组第一使用集下的验证结果；根据各组第一使用集下的验证结果确定所述待筛选模型在所述第一数据集下的第一验证结果；其中，所述第一使用集下的验证结果是所述待筛选模型经所述第一使用集下的训练集训练后使用所述第一使用集下的验证集验证的结果；

根据各待筛选模型在所述第一数据集下的第一验证结果，将第一验证结果大于第一设定阈值的待筛选模型作为目标模型；

其中，所述确定所述待筛选模型在每组第一使用集下的验证结果，通过如下方式得到：

在第二数据集下按照所述待筛选模型的参数组中已训练的参数组和已训练的参数组的验证结果，从所述待筛选模型的参数组中尚未训练的参数组中确定下一训练使用的参数组，直至确定出所述待筛选模型在所述第二数据集下的第一目标参数组；根据所述待筛选模型及所述第一目标参数组，确定所述待筛选模型在所述第一使用集下的验证结果；所述第二数据集与所述第一数据集不同。

2.根据权利要求1所述的方法，其特征在于，在所述将第一验证结果大于第一设定阈值的待筛选模型作为目标模型之后，还包括：

根据所述目标模型在所述第二数据集下的已训练的参数组，从所述目标模型的参数组中确定出再训练的参数组；

在所述第一数据集下按照所述再训练的参数组中已训练的参数组和已训练的参数组的验证结果，从所述再训练的参数组中尚未训练的参数组中确定下一训练使用的参数组，直至确定出所述目标模型在所述第一数据集下的第二目标参数组；

确定所述目标模型和所述第二目标参数组为模型训练的初始模型。

3.根据权利要求1所述的方法，其特征在于，所述在第二数据集下按照所述待筛选模型的参数组中已训练的参数组和已训练的参数组的验证结果通过如下方式获得，包括：

通过所述第二数据集构建多组第二使用集，其中，各组第二使用集对应的验证集均不同且各组第二使用集对应的训练集均不同；

针对每个已训练的参数组，确定所述已训练的参数组在每个第二使用集下的验证结果；根据各组第二使用集下的验证结果确定所述已训练的参数组的验证结果；其中，所述第二使用集下的验证结果是所述待筛选模型经所述第二使用集下的训练集训练后使用所述第二使用集下的验证集验证的结果。

4.根据权利要求3所述的方法，其特征在于，所述根据各组第一使用集下的验证结果确定所述待筛选模型在所述第一数据集下的第一验证结果，包括：

根据各组第一使用集下的验证结果的均值确定所述待筛选模型在所述第一数据集下的第一验证结果；

根据各组第二使用集下的验证结果确定所述已训练的参数组的验证结果，包括：

根据各第二使用集下的验证结果的均值确定所述已训练的参数组的验证结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述在第二数据集下按照所述待筛选模型的参数组中已训练的参数组和已训练的参数组的验证结果，从所述待筛选模型的参数组中尚未训练的参数组中确定下一训练使用的参数组，包括：

根据所述已训练的参数组和所述已训练的参数组的验证结果确定符合预设置信度的置信区间，所述置信区间用于表示每个参数组预测的验证结果；

通过预设的获取函数确定所述置信区间对应的下一训练使用的参数组；

根据所述待筛选模型及所述下一训练使用的参数组在所述第二数据集下训练验证的验证结果，更新所述置信区间。