[发明专利]带有槽位关注的以对象为中心的学习

说明书

一种方法涉及接收包括多个特征向量的知觉表示，并且初始化由神经网络存储单元表示的多个槽位向量。各个槽位向量被配置为表示知觉表示中的相应实体。该方法还涉及基于由键函数变换的多个特征向量和由查询函数变换的多个槽位向量的乘积来确定关注矩阵。沿着关注矩阵的各个维度的多个值中的各个值相对于该多个值被正规化。该方法还涉及基于由值函数变换的多个特征向量和关注矩阵来确定更新矩阵，并且通过神经网络存储单元基于更新矩阵来更新多个槽位向量。

相关申请的交叉引用

本申请要求2020年6月3日递交的63/034,003号美国临时专利申请的优先权，特此通过引用并入该美国申请，就好像在本说明书中完全记载了一样。

技术领域

背景技术

机器学习模型可用于处理各种类型的数据，包括图像、时间序列、文本和/或点云，以及其他可能性。机器学习模型的改进允许模型更快地执行数据的处理和/或利用更少的计算资源进行处理。

发明内容

在第一示例实施例中，提供了一种计算机实现的方法，包括接收包括多个特征向量的知觉表示。该计算机实现的方法还包括初始化由神经网络存储单元表示的多个槽位向量。该多个槽位向量中的各个槽位向量可被配置为表示知觉表示中包含的相应实体。该计算机实现的方法还包括基于(i)由键函数变换的多个特征向量和(ii)由查询函数变换的多个槽位向量的乘积来确定关注矩阵。沿着关注矩阵的多个维度中的各个维度的多个值中的各个值可相对于沿着各维度的多个值被正规化(normalized)。该计算机实现的方法还包括基于(i)由值函数变换的多个特征向量和(ii)关注矩阵来确定更新矩阵。该计算机实现的方法还包括通过神经网络存储单元基于更新矩阵更新多个槽位向量。

在第二示例实施例中，提供了一种系统，其包括处理器和其上存储有指令的非暂态计算机可读存储介质，所述指令当被所述处理器执行时，使得所述处理器执行操作。所述操作包括接收包括多个特征向量的知觉表示。所述操作还包括初始化由神经网络存储单元表示的多个槽位向量。该多个槽位向量中的各个槽位向量可被配置为表示知觉表示中包含的相应实体。所述操作还包括基于(i)由键函数变换的多个特征向量和(ii)由查询函数变换的多个槽位向量的乘积来确定关注矩阵。沿着关注矩阵的多个维度中的各个维度的多个值中的各个值可相对于沿着各维度的多个值被正规化。所述操作还包括基于(i)由值函数变换的多个特征向量和(ii)关注矩阵来确定更新矩阵。所述操作还包括通过神经网络存储单元基于更新矩阵更新多个槽位向量。

在第三示例实施例中，提供了一种非暂态计算机可读存储介质，其上存储有指令，所述指令当被计算系统执行时，使得所述计算系统执行操作。所述操作包括接收包括多个特征向量的知觉表示。所述操作还包括初始化由神经网络存储单元表示的多个槽位向量。该多个槽位向量中的各个槽位向量可被配置为表示知觉表示中包含的相应实体。所述操作还包括基于(i)由键函数变换的多个特征向量和(ii)由查询函数变换的多个槽位向量的乘积来确定关注矩阵。沿着关注矩阵的多个维度中的各个维度的多个值中的各个值可相对于沿着各维度的多个值被正规化。所述操作还包括基于(i)由值函数变换的多个特征向量和(ii)关注矩阵来确定更新矩阵。所述操作还包括通过神经网络存储单元基于更新矩阵更新多个槽位向量。

在第四示例实施例中，提供了一种系统，包括用于接收包括多个特征向量的知觉表示的装置。该系统还包括用于初始化由神经网络存储单元表示的多个槽位向量的装置。该多个槽位向量中的各个槽位向量可被配置为表示知觉表示中包含的相应实体。该系统还包括用于基于(i)由键函数变换的多个特征向量和(ii)由查询函数变换的多个槽位向量的乘积来确定关注矩阵的装置。沿着关注矩阵的多个维度中的各个维度的多个值中的各个值可相对于沿着各维度的多个值被正规化。该系统还包括用于基于(i)由值函数变换的多个特征向量和(ii)关注矩阵来确定更新矩阵的装置。该系统还包括用于通过神经网络存储单元基于更新矩阵更新多个槽位向量的装置。