[发明专利]带有槽位关注的以对象为中心的学习

权利要求书

1.一种计算机实现的方法，包括：

接收包括多个特征向量的知觉表示；

初始化由神经网络存储单元表示的多个槽位向量，其中所述多个槽位向量中的各个槽位向量被配置为表示所述知觉表示中包含的相应实体；

基于(i)由键函数变换的所述多个特征向量和(ii)由查询函数变换的所述多个槽位向量的乘积来确定关注矩阵，其中沿着所述关注矩阵的多个维度中的各个维度的多个值中的各个值相对于沿着各维度的所述多个值被正规化；

基于(i)由值函数变换的所述多个特征向量和(ii)所述关注矩阵来确定更新矩阵；并且

通过所述神经网络存储单元基于所述更新矩阵更新所述多个槽位向量。

2.如权利要求1所述的计算机实现的方法，还包括：

基于(i)由所述键函数变换的所述多个特征向量和(ii)由所述查询函数变换的多个更新后槽位向量的乘积来确定第二关注矩阵，其中沿着所述第二关注矩阵的多个维度中的各个维度的多个值中的各个值相对于沿着所述第二关注矩阵的各维度的多个值被正规化；

基于(i)由所述值函数变换的所述多个特征向量和(ii)所述第二关注矩阵来确定第二更新矩阵；并且

通过所述神经网络存储单元基于所述第二更新矩阵进一步更新所述多个更新后槽位向量。

3.如权利要求1所述的计算机实现的方法，其中各个槽位向量表示相应实体的语义嵌入，其中更新各槽位向量迭代地细化相应实体的语义嵌入并且独立于相应实体的分类地将各槽位向量绑定到相应实体。

4.如权利要求1所述的计算机实现的方法，其中所述多个槽位向量包括K个槽位向量，其中所述多个维度中的各个维度包括K个值，并且其中所述方法还包括：

通过softmax函数通过将(i)沿着各维度的K个值中的各值的指数除以(ii)沿着各维度的K个值的指数之和来将沿着所述关注矩阵的多个维度中的各个维度的K个值中的各个值相对于沿着各维度的K个值进行正规化。

5.如权利要求4所述的计算机实现的方法，其中通过softmax函数将沿着所述关注矩阵的多个维度中的各个维度的K个值中的各个值相对于各维度的K个值进行正规化使得所述多个槽位向量相互竞争来表示所述知觉表示中包含的实体。

6.如权利要求1所述的计算机实现的方法，其中确定所述更新矩阵包括：

确定(i)由所述值函数变换的所述多个特征向量与(ii)所述关注矩阵的转置的乘积。

7.如权利要求1所述的计算机实现的方法，其中所述多个特征向量包括N个特征向量，其中所述多个维度是包括N个维度的第一多个维度，并且其中确定所述更新矩阵包括：

通过将(i)沿着所述关注矩阵的第二多个维度中的各个维度的N个值中的各个值除以(ii)沿着所述第二多个维度中的各维度的N个值之和来确定关注权重矩阵；并且

确定(i)由所述值函数变换的所述多个特征向量与(ii)所述关注权重矩阵的转置的乘积。

8.如权利要求1所述的计算机实现的方法，其中所述多个特征向量由输入矩阵表示，所述输入矩阵包括：(i)与所述多个特征向量的数目相对应的N行以及(ii)与所述多个特征向量的每一者的维度的数目相对应的I列，其中所述多个槽位向量由所述槽位矩阵表示，所述槽位矩阵包括：(i)与所述多个槽位向量的数目相对应的K行以及(ii)与所述多个槽位向量的每一者的维度的数目相对应的S列，其中所述键函数包括由包括I行和D列的键权重矩阵表示的线性变换，其中所述查询函数包括由包括S行和D列的查询权重矩阵表示的线性变换，其中所述值函数包括由包括I行和D列的值权重矩阵表示的线性变换，并且其中所述键权重矩阵、所述查询权重矩阵或者所述值权重矩阵中的一个或多个是在训练期间学习的。

9.如权利要求8所述的计算机实现的方法，其中基于所述乘积确定所述关注矩阵包括：

确定(i)由所述键函数变换的所述多个特征向量和(ii)由所述查询函数变换的所述多个槽位向量的转置的点积；并且

将所述点积除以D的平方根。