[发明专利]用于执行基于模型并行的分布式推理的方法、设备和介质

权利要求书

1.一种在移动终端处执行基于模型并行的分布式推理的方法，包括：

下载并运行根据当前应用模型构建的回归模型，所述回归模型用来预测当前应用模型的层间输出数据的数量和将层间输出数据上传给云服务器所需的网络传输速率、当前应用模型的层间推理时间和功耗；

确定移动终端的当前电量是否低于阈值电量；

基于所述确定的结果计算当前应用模型的退出点，所述计算包括：

如果移动终端的当前电量低于阈值电量，则基于移动终端的最低计算功耗为当前应用模型的下一帧计算退出点，并且

如果移动终端的当前电量大于阈值电量，则根据当前应用模型的时延要求、由所述回归模型预测的所需的网络传输速率、层间输出数据的数量和层间推理时间及能耗中的一个或多个，为当前应用模型的下一帧计算退出点；以及

将计算出的退出点传输给所述云服务器；

其中，在所述退出点处所述移动终端停止所述当前应用模型的推理并且把所获得的层间输出数据推送到所述云服务器以供所述云服务器执行所述当前应用模型的剩余部分的推理。

2.根据权利要求1所述的方法，还包括：

在初始运行所述回归模型时，使用测试数据运行所述当前应用模型以获得所述当前应用模型的平均层间推理时间和平均功耗用于所述当前应用模型的第一帧的推理。

3.根据权利要求1所述的方法，还包括：

向云服务器发送请求以就近原则寻找进行分布式推理的云服务器；以及

将寻找到的云服务器的网络环境参数用于所述当前应用模型的第一帧的推理。

4.根据权利要求1所述的方法，还包括：

从云服务器接收所述当前应用模型的剩余部分的推理结果以完成对当前帧的推理。

5.根据权利要求4所述的方法，还包括：

重复执行上述操作直到所述当前应用模型的最后一帧。

6.一种移动终端，包括：

存储器，其上存储有指令；以及

处理器，被配置为执行存储在所述存储器上的指令，以执行以根据权利要求1至5中的任一项所述的方法。

7.一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1至5中的任意一项所述的方法。