[发明专利]基于外部知识聚合的视觉问答方法及系统

权利要求书

1.一种基于外部知识聚合的视觉问答方法，其特征在于，包括以下步骤：

在外部知识图谱中通过抽取预设问答情景的上下文相关的知识图谱子图，以及在所有的候选答案中抽取一个候选答案的知识图谱子图；

在所述知识图谱子图上进行知识聚合，得到知识实体表征；

将所述知识实体表征与基于联合嵌入的视觉问答系统进行有机融合，输出问题答案；

所述外部知识图谱是以图结构表达的知识库，其中，所述知识图谱包括点和边，所述点为现实世界的事物实体，所述边表示事物实体之间的关系；

采用图卷积模型，将所述知识图谱子图中的有效信息融入至知识实体中，形成高维向量的知识实体表征；

所述知识实体表征包括情景相关实体表征，目标答案实体表征和情景-答案关联表征；

所述将所述知识实体表征与基于联合嵌入的视觉问答系统进行有机融合，输出问题答案，包括：

将所述知识实体表征作为所述基于联合嵌入的视觉问答系统中问题文本特征的补充，并有机融合至所述基于联合嵌入的视觉问答系统中得到融合表征；

对所述融合表征进行分类，得到并输出所述问题答案。

2.一种基于外部知识聚合的视觉问答系统，其特征在于，包括：

抽取模块，用于在外部知识图谱中通过抽取预设问答情景的上下文相关的知识图谱子图，以及在所有的候选答案中抽取一个候选答案的知识图谱子图；

知识聚合模块，用于在所述知识图谱子图上进行知识聚合，得到知识实体表征；

有机融合模块，用于将所述知识实体表征与基于联合嵌入的视觉问答系统进行有机融合，输出问题答案；

所述外部知识图谱是以图结构表达的知识库，其中，所述知识图谱包括点和边，所述点为现实世界的事物实体，所述边表示事物实体之间的关系；

所述知识聚合模块中采用图卷积模型，将所述知识图谱子图中的有效信息融入至知识实体中，形成高维向量的知识实体表征；

所述知识实体表征包括情景相关实体表征，目标答案实体表征和情景-答案关联表征；

所述有机融合模块包括：

融合单元，用于将所述知识实体表征作为所述基于联合嵌入的视觉问答系统中问题文本特征的补充，并有机融合至所述视觉问答系统中得到融合表征；

分类单元，用于对所述融合表征进行分类，得到并输出所述问题答案。