[发明专利]一种基于交替迭代优化的场景图生成装置和方法

说明书

本发明属于计算机视觉技术领域，公开了一种基于交替迭代优化的场景图生成装置和方法，包括图像物体检测模块、场景图物体识别模块和场景图关系识别模块。该方法通过设计关系敏感的消息传递网络，充分利用图像中的上下文信息优化物体特征，并交替迭代优化模型的物体识别与关系识别能力，实现高精度场景图生成。相比传统方法，该方法解决了上下文信息缺失的问题并缓解了模型架构的错误传递问题。同时，由于避免了对物体与物体、物体与关系的共同出现频率的统计信息的利用，降低了模型训练后对特定数据集的依赖性。综上所述，对于自然场景图像，本发明通过对上下文的充分利用与对模型中不同部分的交替迭代优化，生成高精度的场景图预测结果。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于交替迭代优化的场景图生成装置和方法。

背景技术

场景图生成是一种推断图像中物体及物体间关系的空间、语义信息的任务。在场景图中，节点和边分别代表图像中的物体及物体间的关系。该任务是物体检测、图像分割等任务向深度图像理解的进一步拓展，近年来吸引了研究领域的大量关注。通过对场景图的生成，可帮助许多下游视觉应用的进行。同时，已有研究证明通过场景图生成，模型同样可以提取更好的图像特征以帮助图像分类、物体检测等更基础的视觉任务。

一般来讲，现有场景图生成方法都遵从以下流程：首先，通过任意物体检测器(通常采用Faster-RCNN以便于比较)获取图像中物体的包围盒坐标，并提取物体包围盒对应的视觉特征。随后，构建物体识别模块，利用图像中的上下文信息优化物体特征并得出物体分类结果。最后，通过融合物体的视觉特征及其他信息，对每一对物体间的关系进行识别，并结合所有结果输出场景图。常见的拓展形式包括但不限于修改识别网络的网络结构以及引入物体的文本特征。近期也有许多工作聚焦于解决场景图数据集中对关系类别标注的长尾效应问题。

然而上述框架存在两大问题。第一，上下文信息缺失。图像中物体间的关系是上下文信息中的重要部分，现有方法通常以场景图中的边来代表这样的关系。但由于物体间关系未知，现有方法往往固定采用全连接或按一定顺序依次连接的方法构建初始场景图，以进行消息传递。这样的构建方法导致初始场景图中的上下文信息与实际场景并不一致，影响了消息传递过程。第二，错误传递。上述框架将场景图生成分为独立的三步，但难以保证每步结果的精度。因此，该框架存在严重的错误传递问题。例如，错误的物体识别结果将使模型难以正确识别物体间的关系类别。

发明内容

本发明目的在于提供一种基于交替迭代优化的场景图生成装置和方法，以解决上述的技术问题。

为解决上述技术问题，本发明的一种基于交替迭代优化的场景图生成装置和方法的具体技术方案如下：

一种基于交替迭代优化的场景图生成装置，包括图像物体检测模块、场景图物体识别模块和场景图关系识别模块；

所述图像物体检测模块，负责定位输入图像中物体的包围盒，并提取包围盒对应的物体视觉特征；

所述场景图物体识别模块，负责基于场景图关系识别模块的输出，对图像物体检测模块输出的包围盒进行识别，得出对应的物体类别；

所述场景图关系识别模块，负责根据场景图物体识别模块的输出提取文本特征，并结合物体视觉特征及空间特征，对物体间的关系进行识别。

本发明还公开了一种场景图生成方法，包括训练阶段和测试阶段，所述训练阶段的步骤如下：

步骤1：整理数据集：使用带有场景图标注的自然场景图像为训练数据；

步骤2：构造训练网络：

步骤2.1：物体识别模块采用关系敏感的消息传递网络，针对不同类别的关系训练不同的转换矩阵，并对转换后的邻结点消息进行聚合，用以更新当前节点的特征；

步骤2.2：关系识别模块通过结合物体特征、空间特征及物体分类的文本特征，对两者间的关系进行识别；