[发明专利]经由lambda函数以减少的特征物化进行长程交互的建模

说明书

本公开提供了用于例如在机器学习模型中以减少的特征物化执行长程交互的建模的系统、方法和计算机程序产品。一种计算机实现的方法可以包括：接收包括输入数据和场境数据的层输入；至少部分地基于场境数据中的多个场境元素中的每个场境元素的内容函数和位置函数来生成一个或多个lambda函数；以及与生成与相应lambda层相关联的层输出相关联地将生成的lambda函数中的一个或多个应用于输入数据。ResNet上的图像分类和RetinaNet的对象检测的实验结果示出，本公开的示例显著优于卷积和注意力对应物，同时提供了提高的准确性和效率。

相关申请

本申请要求于2020年7月15日提交的美国临时专利申请号63/051,969的权益，其通过引用全部并入本文。

技术领域

本公开一般涉及机器学习架构。更具体地，本公开涉及使用lambda函数在机器学习模型中以减少的特征物化(materialization)执行长程(long-range)交互的建模的系统、方法和计算机程序产品。

背景技术

长程交互的建模在机器学习中很重要。注意力已经成为用于捕获长程交互的常用方法，并且与基于递归的方法相比是优选的。然而，注意力操作受到每示例的二次记忆复杂性的影响。事实上，将注意力应用于大输入的重大挑战来自于与物化注意力图(诸如每示例的注意力图)相关联的大存储器占用和计算要求。这种资源负担阻碍了注意力的使用，例如，在长序列和多维输入(诸如图像)中。

发明内容

本公开的示例的各个方面和优点将在以下描述中部分地阐述，或者能够通过描述来学习，或者能够通过示例的实践来学习。

本公开的一个示例方面涉及一种计算机实现的方法，以在机器学习系统和模型中以减少的特征物化执行长程交互的建模。例如，计算机实现的方法可以由与一个或多个机器学习模型相关联的计算设备执行。在示例中，计算设备接收包括输入数据和场境(context)数据的一个或多个层输入。场境数据通常指一个或多个场境元素，每个场境元素具有与内容相关联的位置，诸如图像数据、文本数据、音频数据、视频数据或任何其他类型的数据。计算设备针对与输入数据相关联的一个或多个元素中的每个元素生成lambda函数。例如，lambda函数可以使用内容和位置信息基于场境数据来计算。另外，计算设备将生成的lambda函数中的每个lambda函数应用于相应的对应输入元素。

在各种示例实施方式中，lambda函数是基于可用的场境生成的并且被直接应用于相应输入元素而不物化每示例的注意力图的变换。与使用注意力的其他方案相比，避免每示例注意力图的每示例二次记忆复杂性允许在更有限的存储器空间中的实施方式，同时仍然考虑场境，特别是长程交互。

在示例中，键和值可以基于线性投影场境数据来确定，其中键基于softmax函数跨场境位置进行归一化。lambda层提供函数消息传递，其中，每个场境元素与对如何基于内容变换查询内容进行编码的内容函数以及对如何基于内容和相关联位置(即，查询位置和场境位置)变换查询内容进行编码的位置函数相关联。另外，函数消息在场境中的所有元素上进行平均，从而产生期望的lambda函数。

在示例中，计算设备将一个或多个生成的lambda函数应用于输入数据，作为生成lambda层的层输出的一部分。例如，输入数据可以用于生成一个或多个查询。然后，一个或多个lambda函数可以被应用于查询，使得每个查询基于内容和查询位置/场境位置坐标与每个内容位置交互，以捕获查询与没有注意力图的场境之间的长程的基于内容和位置的交互。

本文描述的示例实施方式具体地但不排他地适用于图像处理。在一些情况下，机器学习模型被配置成执行图像处理任务，即，接收输入图像并且处理输入图像，即，处理输入图像的像素的强度值，以生成输入图像的模型输出。例如，任务可以是图像归类，并且给定图像的模型输出可以是对象类别集合中的每个对象类别的分数，每个分数表示图像包含属于该类别的对象的图像的估计可能性。