[发明专利]基于稀疏表示的场景图生成方法及系统

说明书

本发明公开了一种基于稀疏表示的场景图生成方法和系统，该方法包括：通过快速区域卷积神经网络对原图像进行目标检测，获得目标区域集；通过预设的关系度量网络将目标对的所有边识别为前景边和背景边，并构造稀疏图；通过基于图注意力神经网络的特征融合和更新策略，对稀疏图上的节点和边进行同步学习，并识别目标类型和关系；根据识别得到的目标类型和关系生成场景图。本发明能够有效过滤虚假关系，进而有效生成稀疏图，并且降低了稠密图的计算复杂度以及提高了图消息传递效率；同时本发明能够准确从稀疏图中提取特征，进而准确生成场景图。

技术领域

本发明属于图像处理技术领域，尤其涉及到一种基于稀疏表示的场景图生成方法及系统。

背景技术

场景图的生成对于深入理解视觉场景起着重要的作用。场景图是真实图像中目标和目标关系的精细化语义抽取，通过对预定义的目标实例、目标属性和目标对间关系进行预测来构建，常用三元组的结构化语言表示场景中目标之间的交互，可以用主语-谓语-宾语三元组的形式表示。在场景图中，节点表示为含类别标签和边界框的目标实体，有向边表示为主、宾语间的关系类别，目标的各种属性（例如颜色、材质等）也可以在场景图中进行描述和表示。

目前，场景图推理技术由于提取了目标交互中蕴含的丰富语义信息受到了众多关注。丰富的场景图语义理解不仅可以为基本的识别任务提供上下文线索，并且在各种高级视觉应用中具有广阔的前景，例如，丰富的场景图语义是改进图像检索和各种基于自然语言的图像任务的关键，也为视觉问答、图像描述、图像生成等应用提供有价值的信息。尽管传统的场景图生成方法在许多应用中取得了经验上的成功，但仍然存在稠密图计算的高复杂度和稀疏图剪枝不精确的问题。

基于此，如何推理所有目标之间的复杂潜在关系并准确从图像中提取场景图仍然是当前亟待解决的问题。

发明内容

本发明的目的在于提供一种基于稀疏表示的场景图生成方法及系统，以实现复杂潜在关系的合理推理以及准确生成场景图。

基于上述目的，第一方面，本发明提供一种基于稀疏表示的场景图生成方法，包括：

通过快速区域卷积神经网络对原图像进行目标检测，获得目标区域集；

通过预设的关系度量网络将目标对的所有边识别为前景边和背景边，并构造稀疏图；

通过基于图注意力神经网络的特征融合和更新策略，对所述稀疏图上的节点和边进行同步学习，并识别目标类型和关系；

根据识别得到的所述目标类型和所述关系生成场景图。

优选地，所述通过预设的关系度量网络将目标对的所有边识别为前景边和背景边，并构造稀疏图，包括：

获取各目标的类别特征、空间特征和外观特征；

根据目标对中两个目标的所述类别特征、所述空间特征和所述外观特征，对所述目标对的边进行分类，并获取分类结果；

根据所述分类结果选择条前景边和前条背景边，构造包含个节点和条边的稀疏图。

优选地，所述根据目标对中两个目标的所述类别特征、所述空间特征和所述外观特征，对所述目标对的边进行分类，并获取分类结果，包括：

分别将所述目标对中两个目标的所述空间特征和所述外观特征进行串联，生成联合空间特征和联合外观特征；

嵌入目标类别的先验统计概率构建所述目标对的联合类别特征；

将所述联合外观特征、所述联合空间特征和所述联合类别特征进行串联，生成Logits特征；

将所述Logits特征输入sigmoid分类器，获得所述目标对的边概率。

优选地，所述联合空间特征为：