[发明专利]任务处理的方法、设备和计算机程序产品

权利要求书

1.一种任务处理的方法，包括：

响应于接收到目标任务，由第一设备利用部署的第一模型来处理所述目标任务；

获取由所述第一模型确定的第一结果，所述第一结果具有第一置信度；

响应于确定第一置信度低于第一阈值，使第二设备利用部署的第二模型处理所述目标任务；以及

获取由所述第二模型确定的第二结果，其中所述第一模型是通过压缩所述第二模型而被构建的。

2.根据权利要求1所述的方法，还包括：

确定所述第二结果的第二置信度；

响应于确定所述第二置信度低于第二阈值，使第三设备利用部署的第三模型来处理所述目标任务；以及

获取由所述第三模型确定的第三结果，其中所述第三模型是基于训练数据而被构建的，并且所述第二模型是通过压缩所述第三模型而被构建的。

3.根据权利要求2所述的方法，其中所述第一设备为边缘终端设备，所述第二设备为边缘服务器设备，所述第三设备为云服务器设备。

4.根据权利要求2所述的方法，其中所述第二模型基于以下过程而被构建对所述第三模型进行知识蒸馏以获得所述第二模型，

并且所述第一模型基于以下过程而被构建：

对所述第二模型进行知识蒸馏以获得中间模型；以及

调整所述中间模型，以获得所述第一模型。

5.根据权利要求4所述的方法，其中调整所述中间模型包括：

对所述中间模型进行剪枝；或者

对所述中间模型进行量化。

6.根据权利要求1所述的方法，其中所述第一模型用于执行分类任务，所述方法还包括：

由所述第一模型处理所述目标任务，以确定与一组分类标签对应的一组分类概率；以及

基于所述一组分类概率，确定与所述第一结果的所述第一置信度。

7.根据权利要求6所述的方法，其中基于所述一组分类概率确定与所述第一结果的所述第一置信度包括：

确定所述一组分类概率的信息熵；以及

基于所述信息熵，确定所述第一置信度。

8.一种电子设备，包括：

至少一个处理单元；

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：

响应于接收到目标任务，由第一设备利用部署的第一模型来处理所述目标任务；

获取由所述第一模型确定的第一结果，所述第一结果具有第一置信度；

响应于确定第一置信度低于第一阈值，使第二设备利用部署的第二模型处理所述目标任务；以及

获取由所述第二模型确定的第二结果，其中所述第一模型是通过压缩所述第二模型而被构建的。

9.根据权利要求8所述的电子设备，所述动作还包括：

确定所述第二结果的第二置信度；

响应于确定所述第二置信度低于第二阈值，使第三设备利用部署的第三模型来处理所述目标任务；以及

获取由所述第三模型确定的第三结果，其中所述第三模型是基于训练数据而被构建的，并且所述第二模型是通过压缩所述第三模型而被构建的。

10.根据权利要求9所述的电子设备，其中所述第一设备为边缘终端设备，所述第二设备为边缘服务器设备，所述第三设备为云服务器设备。

11.根据权利要求9所述的电子设备，其中所述第二模型基于以下过程而被构建对所述第三模型进行知识蒸馏以获得所述第二模型，

并且所述第一模型基于以下过程而被构建：

对所述第二模型进行知识蒸馏以获得中间模型；以及

调整所述中间模型，以获得所述第一模型。