[发明专利]场景图生成方法和装置

说明书

本公开提供一种场景图生成方法和装置。场景图生成方法包括：对输入图像进行识别，以识别出输入图像中的全部目标；生成关系集合，其中关系集合中包括全部目标中的任意两个目标之间的关系；在关系集合中，选择出与第一关系r_ij相关联的第二关系r_dk，其中第一关系r_ij为从第i个目标到第j个目标的关系，第二关系r_dk为从第d个目标到第k个目标的关系，1≤i,j,d,k≤N，N为目标总数，i≠j，d≠k，且第一关系r_ij和第二关系r_dk涉及一个相同的目标；将第一关系r_ij和第二关系r_dk涉及的不同目标之间的关系的关系值，对第一关系r_ij的关系值进行更新；利用全部目标和更新后的关系值生成场景图。本公开能够生成具有鲁棒性的场景图。

技术领域

本公开涉及信息处理领域，特别涉及一种场景图生成方法和装置。

背景技术

场景图是图像中所包含信息的结构化表征，不仅可以表示图像中所有的物体，并且还能表达不同物体之间存在的关系。因此，场景图生成有助于视觉理解和可解释性推理，并广泛应用于图像描述、视觉问答、和3D场景合成等任务中，且有助于根据实际场景中用户行为，分析用户画像。例如可通过视频监控对行人行为进行分析和预警。

现有的场景图生成方法主要包括基于循环神经网络的场景图生成方法和基于图神经网络的场景图生成方法。

发明内容

发明人注意到，现有的场景图生成方法仅假设物体与物体、关系与关系之间存在同质性联系。即只考虑同一类的物体或同一类的关系之间的依赖性。然而，场景图中的物体与物体，关系与关系之间往往不属于同一类，即具有较高的异质性。然而，现有技术中以下三个问题：

1)如何同时考虑物体与物体，关系与关系之间中的异质性；然而，现有的场景图生成方法都没有显式的刻画物体与物体之间的异质性。此外，现有的神经网络模型也忽略了关系与关系之间的异质性。

2)现实应用中，同一个场景中的物体之间容易发生了较大的遮挡，尤其是两个不同类的物体之间的遮挡将导致图神经网络难以区分同质性与异构性。最终影响物体、关系的识别。例如，与图1所示的场景图如图2所示。然而，如图1所示，女士(目标1)和冰箱(目标2)发生了大面积的遮挡，则现有的场景图生成模型无法正确识别这两个物体以及这对物体相关的关系，在这种情况下就会出现目标1和目标2无法区分开的问题。

3)N个物体将涉及到N(N-1)个潜在的关系。因此，考虑所有潜在关系之间的联系将带来较高的运算复杂度。此外，并非所有物体对之间都存在有意义的关系。场景图中存在一些多余的关系，且可能会降低场景图生成的性能。

据此，本公开提供一种场景图生成方法，能够有效识别复杂场景下物体和关系之间的异质性和同质性，从而生成具有鲁棒性的场景图。

根据本公开实施例的第一方面，提供一种场景图生成方法，包括：对输入图像进行识别，以识别出所述输入图像中的全部目标；生成关系集合，其中所述关系集合中包括所述全部目标中的任意两个目标之间的关系；在所述关系集合中，选择出与第一关系r_ij相关联的第二关系r_dk，其中所述第一关系r_ij为从第i个目标到第j个目标的关系，所述第二关系r_dk为从第d个目标到第k个目标的关系，1≤i,j,d,k≤N，N为目标总数，i≠j，d≠k，且所述第一关系r_ij和所述第二关系r_dk涉及一个相同的目标；将所述第一关系r_ij和所述第二关系r_dk涉及的不同目标之间的关系的关系值，对所述第一关系r_ij的关系值进行更新；利用所述全部目标和更新后的关系值生成场景图。

在一些实施例中，在所述第i个目标和所述第d个目标相同，第j个目标和所述第k个目标不同的情况下，对所述第一关系r_ij的关系值进行更新包括：根据从第j个目标到第k个目标的第三关系r_jk的关系值，更新所述第一关系r_ij的关系值。