[发明专利]基于一致性图建模的语义对应方法

权利要求书

1.一种基于一致性图建模的语义对应方法，其特征在于，包括：

建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新，包括：

通过公式(1)和(2)进行跨模态更新：

其中，h^s表示源节点特征，h^t表示目标节点特征，表示跨模态更新后的源节点特征，表示跨模态更新后的目标节点特征，表示源节点到目标节点的边，表示目标节点到源节点的边，m^s表示根据边找到与源节点有连接关系的所有目标节点的特征的累和，m^t表示根据边找到与目标节点具有连接关系的所有源节点的特征的累和，是特征串联操作，表示神经网络，表示跨图更新后的源节点特征，表示跨图更新后的目标节点特征；

对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新，包括：

通过公式(3)和公式(4)进行模态内更新：

其中，表示模态内图卷积网络更新后的源节点特征，表示模态内图卷积网络更新后的目标节点特征，表示神经网络计算，A_s表示源节点特征的邻接矩阵，A_t表示目标节点特征的邻接矩阵；以及

通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。

2.根据权利要求1所述的方法，其特征在于，建立所述源图像与所述目标图像之间的特征关系包括：

获取所述源图像的图像特征，并将每个特征点作为源节点；

获取所述目标图像的图像特征，并将每个特征点作为目标节点；以及

在所述源节点和所述目标节点之间建立边；

其中，所述源节点和所述目标节点均为数据结构图的输入节点。

3.根据权利要求2所述的方法，其特征在于，对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系包括：

通过模态内数据结构图对跨模态更新后的源节点特征编码获得自身模态内的上下文信息，获取经过第一关联关系后的源节点特征的邻接矩阵；以及

通过模态内数据结构图对跨模态更新后的目标节点特征编码获得自身模态内的上下文信息，获取经过第二关联关系后的目标图节点征的邻接矩阵。

4.根据权利要求3所述的方法，其特征在于，

获取经过第一关联关系后的源节点特征的邻接矩阵包括，通过公式(5)计算获得邻接矩阵：

获取经过第二关联关系后的目标节点特征的邻接矩阵包括，通过公式(6)计算获得邻接矩阵：

其中，W_θ与W_ψ是可学习的参数，ReLU(·)表示激活函数。

5.根据权利要求4所述的方法，其特征在于，所述通过一致性损失建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果包括：

将模态内图卷积网络更新后的源节点特征按照所在图像位置排列获得最终源节点特征；

将模态内图卷积网络更新后的目标节点特征按照所在图像位置排列获得最终目标节点特征；以及

计算所述最终源节点特征和所述最终目标节点特征之间的余弦相似度，获得源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果。

6.根据权利要求5所述的方法，其特征在于，在所述基于一致性图建模的语义对应方法应用于训练时，还包括对通过前景一致性损失、循环一致性损失和平滑损失建立具有循环一致性的特征对应关系。