[发明专利]确定神经网络的执行顺序

说明书

提供了用于确定神经网络的执行顺序的系统和方法。例如，可以获得指示神经网络的数据和指示受约束的存储器空间中的可用存储器量的数据。神经网络可以包含多个运算符。然后可以确定与神经网络相关的执行顺序。执行顺序指定执行多个运算符中的每一个的顺序。至少部分地基于受约束的存储器空间中的可用存储器来确定执行顺序。特别地，可以在表示神经网络的图上进行一个或多个图搜索算法以获得执行顺序。

技术领域

本公开涉及神经网络的执行，并且更特别地涉及确定在受约束的存储器空间中使用的神经网络的执行顺序。

背景技术

近年来，计算机视觉和其他机器学习应用越来越流行。例如，这样的应用正在越来越大量的设定和环境中实现。随着这样的应用越来越流行，它们也越来越复杂。如此，在具有有限存储器资源的移动装置上实现的计算机视觉应用可能受到这样的有限的存储器资源的约束。

在这样的有限的存储器设定中，存储器分配和存储器效率可能变得非常重要。例如，限制由移动装置执行计算机视觉和/或其他机器学习应用所需的存储器量可以是有利的。

作为一个示例，在某些受约束的存储器环境中，在执行神经网络期间未能适当地分配受约束的存储器可能是灾难性的，并且例如可能需要完成执行神经网络的装置的重新启动(reboot)。换言之，如果执行神经网络所需的存储器超过了最大可用的存储器(例如，超过了约束)，那么某些数据可能会丢失或者以其他方式无法存储，导致神经网络执行失败。

发明内容

本公开的实施例的方面和优点将在下面的描述中部分阐述，或者可以从该描述中学习，或者可以通过实践实施例来学习。

本公开的一个示例性方面涉及确定神经网络的执行顺序的计算机实现方法。该方法包含由一个或多个计算装置获得描述神经网络的图的数据。神经网络包括多个运算符。该方法还包含由一个或多个计算装置获得指示在受约束的存储器空间中可用存储器量的数据。该方法还包含由一个或多个计算装置在图上进行至少一种图搜索算法(graphsearch algorithm)，以确定与该神经网络相关联的执行顺序。执行顺序指定执行多个运算符中的每一个的顺序。执行顺序导致存储器使用不超过受约束的存储器空间中的可用存储器量。

本公开的另一示例性方面涉及一种包括机器可读指令的计算机程序，当由计算设备执行该机器可读指令时使其进行本文所描述或要求保护的方法。

本公开的另一示例性方面涉及将神经网络的动态分配执行变换为静态分配执行的计算系统。计算系统包含至少一个处理器和至少一个非暂时性计算机可读介质，该至少一个非暂时性计算机可读介质储存可由至少一个处理器执行的指令。指令的执行使得计算系统获得描述神经网络图的数据。神经网络包括多个运算符。指令的执行使得计算系统获得描述受约束的存储器空间中的可用存储器量的数据。指令的执行使得计算系统在图上进行至少一个图搜索算法，以确定神经网络的多个运算符的执行顺序，该执行顺序导致存储器使用不超过受约束的存储器空间中的可用存储器量。指令的执行使得计算系统储存所确定的执行顺序，其中根据所储存的执行顺序发生神经网络的将来(future)执行。

本公开的另一示例性方面涉及储存指令的非临时性计算机可读介质。当由至少一个处理器执行时，指令使得至少一个处理器进行操作。操作包含获得指示神经网络的数据。神经网络包含多个运算符。指令还包含获得指示受约束的存储器空间中可用存储器量的数据。指令还包含构建分别描述神经网络的多个运算符之间的多个相关性的图。指令还包含进行至少一个图搜索算法，以确定神经网络的执行顺序。执行顺序指定执行多个运算符中的每一个的顺序。执行顺序至少部分地基于受约束的存储器空间中的可用存储器来确定。进行至少一种图搜索算法包含识别图内的必要地减少执行顺序的一个或多个存储器需求的一个或多个强制转换，以及至少部分地基于所识别的一个或多个强制转换来删减图的部分的搜索。

本公开的其他示例性方面涉及用于确定与神经网络相关联的搜索图的执行顺序的系统、设备、有形(tangible)非暂时性计算机可读介质、用户界面、存储器装置和电子装置。