[发明专利]基于反事实多智能体学习的图像场景图的生成方法和系统

说明书

本发明公开了一种基于反事实多智能体学习的图像场景图的生成方法和系统。该方法把图像场景图生成任务转换成为一种多智能体协同决策任务。其中将每个物体看成是一个智能体，每个智能体的动作空间是所有可选择的物体类别。每个智能体之间可以进行通信，来编码周围的视觉元素，提升智能体内部的特征表达。经过多轮智能体通信之后，再利用一个视觉关系预测模型来预测智能体之间的视觉关系，得到最终的场景图预测结果。本发明提出全新的反事实多智能体学习模型，使用场景图生成的评价指标作为模型的优化目标，反事实多智能体学习模型包含一个反事实基准模型，本发明可以通过提升物体类别的准确率，显著提升场景图生成质量。

技术领域

本发明涉及机器学习与计算机视觉研究中的深度神经网络、目标检测、场景图生成这几个主要领域，具体涉及一种基于反事实多智能体学习的图像场景图的生成方法和系统。

背景技术

视觉场景理解是计算机视觉研究领域一个重要的研究领域。它不仅仅需要对场景中所有物体的类别以及位置进行预测，同时需要对两两物体之间的视觉关系进行预测。随着目标检测与物体分割技术的成熟，计算机已经可以准确地识别物体的类别、位置以及属性。然而，视觉场景理解不仅仅只是对单个物体的识别，还需要进一步对物体间视觉关系进行识别。所有的物体和视觉关系组合在一起，就构成了场景图。场景图中每个节点和边分别表示图像中的物体和对应物体间的视觉关系。与此同时，图像场景图通常作为一种结构化的视觉知识，辅助许多视觉场景理解任务，如：图像描述生成、视觉问答和视觉推理等。

对于图像场景图生成任务(Scene Graph Generation,SGG)，一个最直接的解决思路就是将场景图生成任务分解成物体分类和视觉关系分类两个独立的子任务，即先用一个物体检测器定位出物体框，然后分别预测每个物体框的类别以及两两物体框之间视觉关系的类别。尽管这类方法的结构十分简单，但是它们都忽略了图像中所有视觉元素之间的内在联系，即每个物体(视觉关系)周围的视觉信息往往会提供一些归纳偏置(inductivebias)来辅助物体(视觉关系)的预测。具体来说，这些方法都是通过借助条件随机场(Conditional Random Field,CRF)来建模所有节点和边的联合分布，然后通过信息传递机制来更新节点和边的特征。最后，整个模型利用所有节点(物体)和边(视觉关系)分类的交叉熵之和作为模型的优化目标进行参数优化。

现有的图像场景图生成方法没有充分地利用场景中视觉元素之间的内在联系，一个重要的原因就是将物体和视觉关系分类的交叉熵之和作为场景图生成的优化目标。这个优化目标不具备整体一致性。所谓的“整体一致性”是指所有预测的物体类别和视觉关系类别之间应该保持整体一致。而交叉熵之和将所有的物体和视觉关系的预测看成是相互独立的。另一方面，场景图生成的优化目标还应该具备局部敏感性。所谓的“局部敏感性”是指优化目标应该能够感知每个节点类别的预测影响。由于场景图的全局评价指标是一个整体生成质量的评价数值，忽略了单个节点的预测贡献。

发明内容

本发明的目的是克服现有算法的不足，提供一种基于反事实多智能体学习的图像场景图的生成方法和系统。本发明的技术方案如下：

本发明首先提供了一种基于反事实多智能体学习的图像场景图的生成方法，所述方法包括如下步骤：

1)物体候选框检测

对输入图像进行物体检测，得到一系列候选框；

2)智能体信息传递

将每个候选框作为一个智能体，智能体之间通过T轮通信来编码每个物体和各自周围的视觉元素之间的内在联系；

3)视觉关系预测

在所有智能体都完成状态更新后，利用视觉关系预测模型对任意两个智能体之间进行视觉关系分类，得到场景图预测结果；

4)反事实多智能体学习