[发明专利]子任务自适应神经网络

说明书

在训练时，可以训练基础神经网络以执行包括在基本子任务的总集合中的多个基本子任务中的每一个(例如，单独地或其某种组合)。接下来，可以获得期望的组合子任务的描述。基于组合子任务的描述，掩码生成器可以产生修剪掩码，所述修剪掩码用于将基础神经网络修剪成较小的组合子任务专用网络，该较小的组合子任务专用网络仅执行包括在组合子任务中的两个或更多个基本子任务。

技术领域

本公开大体上涉及机器学习。更具体地，本公开涉及用于生成，训练和使用子任务自适应神经网络的系统和方法，该子任务自适应神经网络包括可适于有效地执行不同子任务的动态和可控子集的基础网络。

背景技术

在过去几年中，已经提出了几种神经网络架构，它们一致地改善了各种计算机视觉任务的现有技术性能。通常，用于任务的深度网络的大小取决于任务的复杂性。这样，与仅辨识10个类别相比，需要显著更大网络来辨识1000个类别。

然而，给定一个已经被训练来辨识大量类别的深度网络，人们即使当他们只对能够潜在地使用小得多的网络来辨识的类别的较小子集的感兴趣时，也需要运行整个网络。这经常发生在深度网络的几个现实世界的用例中，其中建立了一个统一模型来服务多个应用。

因此，尽管具有统一模型提供了服务几个应用的灵活性，但是这导致了仅对类别的子集感兴趣的应用的推断时间无效率。由于计算预算或其它资源限制，这经常阻止这些应用使用大型统一模型。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面涉及具有子任务自适应神经网络的计算系统。计算系统包括一个或多个处理器和一个或多个非暂时性计算机可读介质，该非暂时性计算机可读介质共同地存储：包括基础神经网络的子任务自适应神经网络，所述基础神经网络包括多个参数，其中，基础神经网络已经被训练以执行包括在基本子任务的总集合中的多个基本子任务中的每一个；以及指令，该指令在由一个或多个处理器执行时使得计算系统执行操作。操作包括接收描述包括两个或更多个基本子任务的组合子任务的数据，组合子任务是针对其已经训练了基础神经网络的基本子任务的总集合的子集。操作包括基于组合子任务来生成组合子任务专用修剪掩码，其中，组合子任务专用修剪掩码识别要修剪的基础神经网络的多个参数的子集。操作包括修剪由组合子任务专用修剪掩码所识别的基础神经网络的多个参数的子集以生成组合子任务专用神经网络。操作包括在修剪多个参数的子集之后，提供组合子任务专用神经网络以用于组合子任务的执行。

本公开的另一个示例方面涉及一种用于训练子任务自适应神经网络的计算机实现的方法。该方法包括由包括一个或多个计算设备的计算系统获得包括基础神经网络的子任务自适应神经网络，所述基础神经网络包括多个参数。可以针对多个训练迭代执行该方法的部分。该方法包括由计算系统接收描述包括两个或更多个基本子任务的组合子任务的数据，组合子任务是多个基本子任务的总集合的子集。该方法包括由计算系统基于组合子任务来生成组合子任务专用修剪掩码，其中，组合子任务专用修剪掩码识别要修剪的基础神经网络的多个参数的子集。该方法包括由计算系统对由组合子任务专用修剪掩码所识别的基础神经网络的多个参数的子集进行修剪以生成组合子任务专用神经网络。该方法包括在修剪多个参数的子集后，由计算系统使用组合子任务专用神经网络来基于训练输入生成输出。该方法包括由计算系统评估损失函数，所述损失函数评估输出。该方法包括由计算系统至少部分地基于损失函数来修改基础神经网络的参数中的一个或多个的一个或多个值。用于多个训练迭代中的至少两个的相应的组合子任务可以彼此不同。