[发明专利]用于神经网络中过度预测的方法和系统

权利要求书

1.一种方法，包括：

针对机器学习模型的多个层中的每个层，关于输入的话语，为多个预测生成置信度分数的分布；

基于为所述机器学习模型的每个层生成的置信度分数的分布，确定要指派给该层的预测；

基于所述确定，生成所述机器学习模型的总体预测；

迭代地处理所述机器学习模型的所述多个层的子集，以识别所述机器学习模型的其被指派的预测满足准则的层；以及

将与所述机器学习模型的所述层的被指派的预测相关联的置信度分数指派为要与所述机器学习模型的所述总体预测相关联的总体置信度分数。

2.如权利要求1所述的方法，其中，确定要指派给所述机器学习模型的每个层的预测还包括：

将所述多个预测中在为该层生成的置信度分数的分布中具有最高置信度分数的预测指派为用于该层的预测。

3.如权利要求1所述的方法，其中，生成所述机器学习模型的所述总体预测还包括：

将所述机器学习模型的最后一层的在与所述最后一层相关联的置信度分数的分布中具有最高置信度分数的预测指派为所述机器学习模型的所述总体预测，所述最后一层是所述机器学习模型的输出层。

4.如权利要求1所述的方法，其中，所述准则与以下内容对应：所述层的被指派的预测与所述机器学习模型的所述总体预测是相同的。

5.如权利要求1所述的方法，其中，所述机器学习模型的所述多个层包括N个层，并且所述多个层的所述子集与所述机器学习模型的前N-1个层对应，并且其中所述机器学习模型是深度神经网络模型。

6.如权利要求1所述的方法，其中，所述机器学习模型包括被配置为接收所述输入的话语并生成嵌入的编码器，并且所述机器学习模型的多个层中的每个层包括被配置为生成与该层相关联的置信度分数的分布的预测模块。

7.如权利要求6所述的方法，其中，与所述机器学习模型的第一层相关联的第一预测模块基于由所述编码器生成的嵌入而生成与所述第一层相关联的置信度分数的第一分布，并且所述机器学习模型的第二层基于由所述第一层处理的嵌入而生成与所述第二层相关联的置信度分数的第二分布。

8.一种计算设备，包括：

处理器；以及

包括指令的存储器，所述指令在由所述处理器执行时，使所述计算设备至少执行以下操作：

针对机器学习模型的多个层中的每个层，关于输入的话语，为多个预测生成置信度分数的分布；

基于为所述机器学习模型的每个层生成的置信度分数的分布，确定要指派给该层的预测；

基于所述确定，生成所述机器学习模型的总体预测；

迭代地处理所述机器学习模型的所述多个层的子集，以识别所述机器学习模型的其被指派的预测满足准则的层；以及

将与所述机器学习模型的所述层的被指派的预测相关联的置信度分数指派为要与所述机器学习模型的所述总体预测相关联的总体置信度分数。

9.如权利要求8所述的计算装置，其中，所述处理器还被配置为：将所述多个预测中在为每个层生成的置信度分数的分布中具有最高置信度分数的预测指派为用于该层的预测。

10.如权利要求8所述的计算设备，其中，所述处理器还被配置为：通过将所述机器学习模型的最后一层的在与所述最后一层相关联的置信度分数的分布中具有最高置信度分数的预测指派为对应于所述总体预测来生成所述机器学习模型的所述总体预测，所述最后一层是所述机器学习模型的输出层。

11.如权利要求8所述的计算设备，其中，所述准则与以下内容对应：所述层的被指派的预测与所述机器学习模型的所述总体预测是相同的。

12.如权利要求8所述的计算设备，其中，所述机器学习模型的所述多个层包括N个层，并且所述多个层的所述子集与所述机器学习模型的前N-1个层对应，并且其中所述机器学习模型是深度神经网络模型。