[发明专利]用于神经网络的多任务学习的元学习

说明书

描述了用于通过单个神经网络自动学习子任务的元学习的方法和系统。神经网络学习任务的顺序可能会影响网络的性能，而元学习方法可以使用任务级别课程进行多任务训练。任务级别课程可以通过监测训练过程中损失函数的轨迹来学习。元学习方法可以在训练过程中学习适应任务损失平衡权重，以提高现实世界数据集上多个任务的性能。有利地，学习动态地平衡不同任务损失之间的权重比使用由昂贵的随机搜索或启发式方法确定的静态权重可以导致更高的性能。元学习方法的实施例可以用于计算机视觉任务或自然语言处理任务，并且训练的神经网络可以由增强或虚拟现实设备使用。

相关申请的交叉引用

本申请要求2017年11月14日提交的题为“用于多任务学习的元学习(metalearning)”的美国专利申请号62/586,154的优先权的权益，其全部内容通过引用合并于此。

技术领域

本公开总体上涉及用于机器学习的系统和方法，并且更具体地涉及使用元学习技术来训练机器学习模型。

背景技术

深度神经网络(DNN)是一种计算机器学习方法。DNN属于一类人工神经网络(NN)。利用NN，可以构建一个模拟生物神经网络的特征的计算图。生物神经网络包括对计算很重要的特征，并负责生物系统的许多功能，这些功能否则可能很难通过其他方法捕获。在一些实施方式中，这样的网络被布置成其中连接是单向的顺序分层结构。例如，可以将特定层的人工神经元的输出连接到后续层的人工神经元的输入。DNN可以是具有大量层(例如,10、100或更多层)的NN。

不同的NN在不同的视角彼此不同。例如，拓扑或架构(例如，层的数量以及层如何互连)以及不同NN的权重可以不同。权重可以近似类似于生物系统中神经连接的突触强度。权重影响从一层传播到另一层的效果的强度。人工神经元的输出可以是其输入的加权和的非线性函数。NN的权重可以是出现在这些求和中的权重。

发明内容

描述了一种用于通过单个神经网络自动学习多个任务的元学习方法以及相关联的方法和系统。神经网络学习任务的顺序可能会影响网络的性能，而元学习方法可以使用任务级别课程进行多任务训练。任务级别课程可以通过监测训练过程中损失函数的轨迹来学习。元学习方法可以在训练过程中学习适应任务损失平衡权重，以提高现实世界数据集上多个任务的性能。有利地，学习不同任务损失之间的动态地平衡权重比使用由昂贵的随机搜索或启发式方法(heuristics)确定的静态权重可以导致更高的性能。元学习方法的实施例可以用于计算机视觉任务或自然语言处理任务，并且训练的神经网络可以由增强或虚拟现实设备使用。

本说明书中描述的主题的一种或多种实现的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本发明主题的范围。

附图说明

图1A-1至1C-2示出了在NYUv2数据集上一个深度神经网络中以不同顺序训练多个任务的观察结果。任务1、2和3分别是语义分割、深度预测和表面法线估计。图1A-1、1B-1和1C-1示出了训练期间相应任务的平衡权重(阿尔法(alpha)1、阿尔法2和阿尔法3)的示例。图1A-2、1B-2和1C-2示出了总训练损失(上图)和测试训练损失(下图)的示例。

图2是包括元(meta)网络和子(child)网络的示例元学习系统的框图。

图3A至图3F示出了数值结果的示例，该数值结果将元学习元网络的实施例的性能与网格搜索和相等权重的多任务学习的实施例的性能进行了比较。这三个任务是用于场景理解的计算机视觉任务：分割、深度和表面法线。图3A示出了示例元学习轨迹，图3B示出了三个任务的收敛任务权重的示例，以及图3C-3F示出了针对整体任务(图3C)和针对每个单独任务的训练损失(上图)和测试损失(下图)的示例：分割(图3D)、深度(图3E)和表面法线(图3F)。

图4是用于多任务学习的元学习的示例过程的流程图。