[发明专利]训练精炼的机器学习模型

权利要求书

1.一种由一个或多个计算机执行的方法，所述方法包括：

训练繁冗的机器学习模型，其中所述繁冗的机器学习模型被配置为接收输入并生成针对多个分类中的每个的相应的分数；以及

在多个训练输入上训练精炼的机器学习模型，其中所述精炼的机器学习模型也被配置为接收输入并生成针对所述多个分类的分数，包括：

使用所述繁冗的机器学习模型处理每个训练输入以生成针对该训练输入的繁冗的目标软输出；以及

训练所述精炼的机器学习模型以针对每个训练输入生成与针对该训练输入的繁冗的目标软输出匹配的软输出。

2.根据权利要求1所述的方法，其中机器学习模型的软输出包括由所述机器学习模型的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中每个软分数满足：

qi=exp(zi/T)Σjexp(zj/T),]]>

其中q_i是针对分类i的分数，z_i是由所述最后层接收的所述机器学习模型的前一层的输出的加权组合，j的范围为从1到所述多个分类中的分类的总数，T是温度常数，并且其中为了生成所述软分数，T被设置为比在所述机器学习模型已被训练后用于生成针对所述分类的分数的值更高的值。

3.根据权利要求2所述的方法，其中在所述机器学习模型已被训练后用于生成针对所述分类的分数的T的值为1。

4.根据权利要求3所述的方法，进一步包括在所述精炼的机器学习模型已被训练后为所述精炼的机器学习模型将T的值设置为1。

5.根据权利要求1所述的方法，其中机器学习模型的软输出包括由所述机器学习模型的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中所述软分数定义出比在所述机器学习模型已被训练后由所述机器学习模型生成的分数更软的在所述多个分类上的分数分布。

6.根据权利要求1-5的任一项所述的方法，其中所述繁冗的机器学习模型是由多个机器学习模型组成的集成模型，并且其中由所述繁冗的机器学习模型针对每个分类生成的相应的分数是由所述机器学习模型针对该分类生成的分数的组合。

7.根据权利要求6所述的方法，其中所述多个集成模型被分别训练。

8.根据权利要求6和7的任一项所述的方法，其中使用所述繁冗的机器学习模型处理每个训练输入包括：

使用所述集成模型生成针对所述训练输入的多个集成分数；以及

组合所述集成分数以生成针对所述训练输入的所述繁冗的目标软输出。

9.根据权利要求8所述的方法，其中所述多个机器学习模型包括一个或多个全机器学习模型和一个或多个专业机器学习模型，其中每个全机器学习模型被配置为接收输入并生成针对所述多个分类中的每个的相应的全分数，并且其中每个专业机器学习模型被配置为接收输入并生成针对所述多个分类的相应的子集的相应的专业分数。

10.根据权利要求9所述的方法，其中每个专业机器学习模型进一步被配置为生成针对垃圾分类的专业分数，所述垃圾分类是不包含在用于所述专业机器学习模型的所述子集中的所有分类的聚集。