[发明专利]基于外部知识聚合的视觉问答方法及系统

说明书

本发明公开了一种基于外部知识聚合的视觉问答方法及系统，其中，该方法首先抽取情景相关的外部知识图谱子图，然后在知识子图上进行知识聚合得到知识实体表征，最后将该实体表征与传统的知识问答系统进行有机融合来最终得到问题答案。该方法在传统视觉问答系统上引入外部知识图谱，既可应用于传统视觉问题，也可以应用于需要外部知识的视觉问题，且在模型训练过程中不需要额外的强监督信息，具有较高的适用性，在多个基准数据集上可取得更优的视觉问题准确率。

技术领域

本发明涉及计算机视觉问答技术领域，特别涉及一种基于外部知识聚合的视觉问答方法及系统。

背景技术

如图1所示，视觉问答任务指的是：给定一张图片和其对应的自然语言描述的问题，如何利用图片中的信息，得到问题的正确答案。在实际场景中，除了图片信息以外，往往需要同时引入外部的常识知识来辅助回答视觉问题。

现有的视觉问答方法大部分仅仅依据图像和问题文本的内容本身，目前在视觉问答中引入外部知识图谱的相关工作较有限。依据外部知识图谱的融合程度划分，目前的研究中主要有三类相关方法：

(1)基于深度神经网络和联合嵌入的传统模型。这类方法使用深度神经网络得到图片表征和问题文本表征，并将两种表征进行联合嵌入以融合图片和问题文本。这类方法没有引入外部知识，难以适应需要外部知识的问答场景。

(2)在知识图谱上进行显式推理的视觉问答模型。这类方法将图片表达为符号化形式，损失了丰富的视觉信息，并且推理过程依赖于预先定义的模板，因此具有很大局限性。

(3)在知识图谱上进行信息检索的模型。这类方法使用信息检索的相关技术，仅适用于视觉问题和某一条外部知识明确相关的问答场景，在训练模型时除了正确答案的标注外，还需要提供候选的外部知识集合以及额外的强监督信息(例如某条明确相关的外部知识的标注)。

例如，相关技术Narasimhan M,Schwing A G.Straight to the facts:Learningknowledge base retrieval for factual visual question answering[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:451-468，该方法中使用的外部知识库是基于特定环境构造的，规模有限，不需要进行知识子图抽取；将外部知识库中的每一条知识单独考虑，没有利用图的结构特性进行知识聚合；是一个在知识图谱上进行信息检索的模型，无法和传统的视觉问答系统相结合，并且在训练时需要额外的监督信息。

综上可知，现有融合外部知识图谱的视觉问答方法适用性较差，难以应用在问题复杂多样的开放场景中。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于外部知识聚合的视觉问答方法，该方法不需要额外的强监督信息，具有较高的适用性，在多个基准数据集上可取得更优的视觉问题准确率。

本发明的另一个目的在于提出一种基于外部知识聚合的视觉问答系统。

为达到上述目的，本发明一方面实施例提出了基于外部知识聚合的视觉问答方法，包括以下步骤：在外部知识图谱中抽取预设问答情景的知识图谱子图；在所述知识图谱子图上进行知识聚合，得到知识实体表征；将所述知识实体表征与基于联合嵌入的视觉问答系统进行有机融合，输出问题答案。

本发明实施例的基于外部知识聚合的视觉问答方法，引入外部知识图谱，使得视觉问答系统具备利用外部知识回答视觉问题的能力，可应用于传统视觉问题，也可以应用于需要外部知识的视觉问题，且在模型训练过程中不需要额外的强监督信息，具有较高的适用性，且在多个基准数据集上取得了更优的视觉问答准确率。