[发明专利]使用随机特征损坏的自监督对比学习

说明书

本公开涉及使用随机特征损坏的自监督对比学习，尤其是用于训练具有多个网络参数的神经网络的方法、系统以及包括在计算机存储介质上编码的计算机程序的装置。其中一种方法包括：从未标记训练数据集合获得未标记训练输入；处理未标记训练输入以生成第一嵌入；生成未标记训练输入的损坏版本，包括：确定特征维度的真子集并且对于在特征维度的真子集中的每个特征维度，使用从如未标记训练数据集合中指定的该特征维度的边缘分布采样的一个或多个特征值来对该特征维度中的相应特征应用损坏；处理未标记训练输入的损坏版本以生成第二嵌入；以及确定对多个网络参数的当前值的更新。

相关申请的交叉引用

本申请要求于2021年5月28日提交的美国申请No.63/194,899的申请日的权益。在先申请的公开内容被认为是本申请的公开内容的一部分并且通过引用并入在本申请的公开内容中。

技术领域

本说明书涉及训练神经网络。

背景技术

神经网络是采用一个或多个层的非线性单元来针对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层——即下一隐藏层或输出层——的输入。网络的每个层依照相应参数集的当前值从接收到的输入生成输出。

发明内容

本说明书描述一种作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统，该系统实现并训练能够对一个或多个接收到的输入执行机器学习任务的神经网络。特别地，该神经网络使用如下两阶段过程来训练：预训练阶段和微调阶段。神经网络的预训练阶段利用自监督对比学习方案。

能够在特定实施例中实现本说明书中描述的主题以便实现以下优点中的一个或多个。

如本说明书中描述的系统预训练神经网络以通过处理不需要被标记的网络输入对来生成可能稍后在特定下游任务中有用的任务不可知表示。特别地，网络输入对包括未标记训练输入，例如图像、视频或文本序列，以及由系统通过随机化未标记训练输入的随机特征集合的特征值自动地生成的未标记训练输入的损坏副本。与通常高度地特定于来自诸如计算机视觉或自然语言处理的窄范围技术领域的数据的现有自监督学习技术不同，系统所采用的边缘采样损坏技术普遍适用于跨越各种技术领域的不同格式或不同类型的数据或者两者。

此外，经预训练后的神经网络然后能够用于使用比用于预训练网络少几个数量级的数据来有效地适应特定机器学习任务。例如，虽然预训练网络可能利用数十亿个未标记训练输入，但是使网络适应特定任务可能需要仅仅几千个标记训练输入。由于针对特定任务训练网络需要比现有方法少，有时少几个数量级，的标记训练输入，所以系统因此能够在微调期间更高效地利用计算资源，例如存储器、挂钟时间或两者。系统还能够以与数据标记相关联的较低人类劳动成本训练神经网络，同时仍然确保匹配或甚至超过目前技术水平的经训练后的神经网络在一系列任务上的竞争性能，同时附加地可推广且可容易适应新任务。

本说明书中描述的主题的一个或多个实施例的细节在下面的附图和描述中阐述。主题的其他特征、方面和优点将从说明书、附图和权利要求书中变得显而易见。

附图说明

图1A示出预训练阶段期间的示例神经网络系统。

图1B示出微调阶段期间的示例神经网络系统。

图2是用于使用自监督对比学习方案来预训练神经网络的示例过程的流程图。

图3是用于在机器学习任务上微调神经网络的示例过程的流程图。

图4A-B分别是预训练和微调神经网络的示例图示。

在各个附图中相似的附图标记和名称指示相似的元件。

具体实施方式