[发明专利]用于提供具有可调节计算需求的机器学习模型的系统和方法

说明书

公开了一种计算设备，该计算设备包括至少一个处理器和机器学习模型。机器学习模型可以包括多个块和所述多个块中的两个或跟多个块之间的一个或多个残差连接。机器学习模型可以配置为接收模型输入，并且响应于模型输入的接收，输出模型输出。机器学习模型可以被配置为执行操作，操作包括确定资源分配参数，该资源分配参数与在推理时间对机器学习模型的系统资源的期望分配相对应；基于资源分配参数停用机器学习模型的多个块的子集；将模型输入输入到多个块的子集被停用的机器学习模型中；以及接收模型输出作为机器学习模型的输出。

相关申请

本申请要求于2018年10月1日提交的第62/739584号美国临时专利申请的优先权和利益。通过引用第62/739584号美国临时专利申请的全部内容将其合并于此。

技术领域

本公开一般涉及机器学习模型。更具体地，本公开涉及用于提供具有可调节计算需求的机器学习模型的系统和方法。

背景技术

设备上机器学习模型已经变得更加普遍。例如，深度神经网络已经部署在“边缘”设备上，诸如移动电话、嵌入式设备、其他“智能”设备或其他资源受限的环境。当与基于云的配置相比校时，这样的设备上模型可以提供包括减少延迟和改进隐私的好处，在基于云的配置中，机器学习模型被远程存储和访问，例如，在经由广域网访问的服务器中。

然而，这种边缘设备的计算资源可以显著变化。此外，对于特定设备，在给定时间用于执行这样的设备上机器学习模型的可用计算资源量可以基于各种因素而变化。因此，设备上机器学习模型可能表现出差的性能，诸如增加的时延或延迟，和/或要求次优的设备资源分配。

发明内容

本公开的实施例的方面和优点将在下面的描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面针对计算设备。计算设备可以包括至少一个处理器和机器学习模型。机器学习模型可以包括多个块和所述多个块中的两个或更多个块之间的一个或多个残差连接。机器学习模型可以被配置为接收模型输入，并且响应于模型输入的接收，输出模型输出。机器学习模型可以包括至少一个有形的、非瞬时性的计算机可读介质，该计算机可读介质存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令。操作可以包括确定资源分配参数，资源分配参数与在推理时间对机器学习模型的系统资源的期望分配相对应。操作可以包括基于资源分配参数停用机器学习模型的多个块的子集。操作可以包括将模型输入输入到多个块的子集被停用的机器学习模型中，并且接收模型输出作为机器学习模型的输出。

本公开的另一示例方面针对减少与机器学习模型相关联的计算成本的计算机实施的方法。该方法可以包括由一个或多个计算设备确定资源分配参数，资源分配参数描述在推理时间对机器学习模型的系统资源的期望分配。该方法可以包括由一个或多个计算设备基于资源分配参数停用机器学习模型的多个块的子集。该方法可以包括由一个或多个计算设备将输入集输入到机器学习模型中，并且由一个或多个计算设备接收输出集作为机器学习模型的输出。

本公开的另一示例方面针对用于将机器学习模型训练为针对在推理时间停用机器学习模型的神经网络的多个块中的至少一些块是鲁棒的方法。该方法可以包括由一个或多个计算设备使用训练数据集迭代地训练机器学习模型。该方法可以包括在机器学习模型的迭代训练的至少一次迭代之前，由一个或多个计算设备停用机器学习模型的多个块的迭代特定子集。

本公开的其他方面针对各种系统、装置、非瞬时性计算机可读介质、用户接口和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成本说明书一部分的附图示出本公开的示例实施例，并且与说明书一起用于解释相关原理。

附图说明

说明书中参考附图阐述了针对本领域普通技术人员的实施例的详细讨论，其中：