[发明专利]基于一致性图建模的语义对应方法

说明书

本发明公开了一种基于一致性图建模的语义对应方法，包括步骤：建立源图像与目标图像之间的特征关系，采用图卷积网络对源图像的特征和目标图像的特征进行跨模态更新；对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到源图像到目标图像上的语义对应结果，能够同时捕获整张图片以及图片之间的上下文信息，建立循环一致性的语义对应，适用性强，准确度高。

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种基于一致性图建模的语义对应方法，可应用于图像的理解。

背景技术

语义对应性试图在包含相同类别物体的图片之间建立语义相关的对应匹配，进而应用于物体识别、图像编辑、语义分割等众多领域。

传统的语义对应工作利用手工特征，如SIFT(尺度不变特征)或HOG(方向梯度直方图特征)来建立对应匹配关系。然而手工设计的特征不能捕获高层次的语义信息，所以待匹配物体存在较大的物体形变时，这些传统方法不能有效地建立语义对应关系。此外，图片的背景杂乱、物体不同的视角变化、以及缺少稠密的对应标注数据等因素都增加了语义对应性任务的难度。

为了捕获高层次的语义信息，基于卷积神经网络的语义对应工作应运而生，在语义对应任务中取得了巨大的成功。然而，这些方法大多不能捕获整张图片、图片之间的上下文信息，以及同时确保建立的语义对应具有一致性，这限制了模型对语义对应任务中各种挑战(如背景干扰)的泛化能力。

因此，目前亟待解决的技术问题是提供一种适用性强，准确度更高的图和语义的对应方法。

发明内容

为了解决上述技术问题，本发明公开了一种适用性强，准确度更高的图和语义的对应方法，具体方案如下。

本发明公开了一种基于一致性图建模的语义对应方法，包括：

建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新；

对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；

通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。

根据本发明的一些实施例，建立所述源图像与所述目标图像之间的特征关系包括：

获取所述源图像的图像特征，并将每个特征点作为源节点；

获取所述目标图像的图像特征，并将每个特征点作为目标节点；以及

在所述源节点和所述目标节点之间建立边；

其中，所述源节点和所述目标节点均为数据结构图的输入节点。

根据本发明的一些实施例，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新包括，通过公式(1)和(2)进行跨模态更新：