[发明专利]用于提供具有可调节计算需求的机器学习模型的系统和方法

权利要求书

1.一种计算设备，包括：

至少一个处理器；

机器学习模型，包括多个块和所述多个块中的两个或更多个块之间的一个或多个残差连接，其中所述机器学习模型被配置为接收模型输入，并且响应于模型输入的接收，输出模型输出；

至少一个有形的、非瞬时性计算机可读介质，所述计算机可读介质存储指令，所述指令当由所述至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：

确定资源分配参数，所述资源分配参数与在推理时间对所述机器学习模型的系统资源的期望分配相对应；

基于所述资源分配参数停用所述机器学习模型的多个块的子集；

将所述模型输入输入到所述多个块的子集被停用的机器学习模型；以及

接收所述模型输出作为所述机器学习模型的输出。

2.根据权利要求1所述的计算设备，其中选择所述多个块的子集以使得所述残差连接中的至少一个绕过所述多个块的子集中的每一个。

3.根据权利要求1所述的计算设备，其中所述多个块的子集中的每一个位于所述机器学习模型的残差连接的至少一个之间。

4.根据权利要求1所述的计算设备，其中所述资源分配参数基于以下中的一个或多个来确定：电池状态、计算设备的模式、当前可用处理器能力或当前正在运行的应用的数量。

5.根据权利要求1所述的计算设备，其中确定所述资源分配参数包括从所述计算设备的用户接收输入。

6.根据权利要求1所述的计算设备，其中确定所述资源分配参数包括在将所述模型输入输入到所述机器学习模型之前确定所述资源分配参数。

7.根据权利要求1所述的计算设备，其中：

所述多个块中的至少两个块残差地连接在残差链中；以及

停用所述机器学习模型的多个块的子集包括停用所述残差链的起始残差块和残差尾部部分。

8.根据权利要求7所述的计算设备，其中：

所述残差链从所述机器学习模型的输入端向所述机器学习模型的输出端延伸；以及

所述残差尾部部分包括从所述起始残差块向所述机器学习模型的输出端延伸的残差链内的块。

9.根据权利要求1所述的计算设备，其中选择所述多个块的子集包括基于与所述机器学习模型内的每个块的相应位置正相关的每个块的相应概率来选择块。

10.根据权利要求1所述的计算设备，其中：

所述资源分配参数与所述机器学习模型的最大目标资源分配量相对应；以及

选择所述多个块的子集包括基于每个块的相应资源消耗量来选择块，以将执行所述机器学习模型所要求的资源量调节为小于所述最大目标资源分配量。

11.根据权利要求1所述的计算设备，还包括基于所述资源分配参数的幅度来选择用于停用的所述多个块的子集的大小，以使得所述多个块的子集的大小与所述资源分配参数的幅度负相关。

12.根据权利要求1所述的计算设备，其中停用所述机器学习模型的多个块的子集包括停用所述机器学习模型的层。

13.根据权利要求1所述的计算设备，其中所述机器学习模型包括卷积神经网络，并且所述多个块中的至少一个块包括应用至少一个卷积滤波器的卷积块。