[发明专利]一种基于文本的文本视觉问答系统及方法

权利要求书

1.一种基于文本的文本视觉问答系统，其特征在于，所述系统包括：

阅读组件，用于提取图片中的文本信息和物体目标信息，并与待回答问题相结合选择出所需要的文本信息和物体目标信息；

理解组件，用于对阅读组件选择出的文本信息、物体目标信息和待回答问题进行理解，并推理出各文本信息和各物体目标信息之间的关系；

和答案选择组件，根据理解组件推理出的关系从候选答案中选择出与待回答问题匹配度最高的答案。

2.根据权利要求1所述的基于文本的文本视觉问答系统，其特征在于，所述阅读组件包括：

OCR模型，用于从图片中提取出文本信息；

目标检测模型，用于从图片中提取出物体目标信息；

检索系统，用于从文本信息和物体目标信息中检索出与待回答问题相关的答案信息；

检索系统提供的答案信息和OCR模型提取的文本信息合并形成所需要的文本信息。

3.根据权利要求1所述的基于文本的文本视觉问答系统，其特征在于，所述理解组件包括：

问题理解模块，用于理解待回答问题的含义；理解的过程包括：先得到问题向量，再捕获问题中的上下文信息，最后采用自注意力机制获得问题表示；

OCR和目标理解模块，用于理解文本信息的上下文信息和物体目标信息；对处理对象依次进行单词级注意力、多层级注意力和自注意力处理，实现对OCR文本和目标上下文的充分理解；

关系推理模块，用于对理解后的OCR文本和目标进行关系推理，获得OCR文本与目标之间的多重关系。

4.根据权利要求3所述的基于文本的文本视觉问答系统，其特征在于，对OCR文本向量或目标向量进行单词级注意力处理前，将问题向量补充到待处理的OCR文本向量或目标向量中。

5.根据权利要求3所述的基于文本的文本视觉问答系统，其特征在于，对OCR文本向量或目标向量进行多层级注意力处理前，将捕获的问题中的上下文信息补充到待处理的OCR文本上下文信息或目标上下文信息中。

6.根据权利要求3所述的基于文本的文本视觉问答系统，其特征在于，对理解后的目标和OCR文本分别进行用语义注意力和位置注意力处理，再获得两者的相关向量目标表示。

7.根据权利要求6所述的基于文本的文本视觉问答系统，其特征在于，所述答案选择组件包括：

候选答案表示模块，用于根据相关向量目标表示和经理解后的OCR文本得到候选答案的表示；

和语义匹配模块，用于根据问题理解模块得到的问题表示计算各候选答案是该问题最终答案的概率，选择概率最高者进行输出。

8.根据权利要求7所述的基于文本的文本视觉问答系统，其特征在于，所述答案选择组件还包括：语义推理模块，适用于答案不是图像内文本信息的情况，用于辅助推理，从而从额外文本中选择可能的答案。

9.一种基于文本的文本视觉问答方法，其特征在于，所述方法的步骤包括：

S1、提取图片中的文本信息和物体目标信息，并与待回答问题相结合选择出所需要的文本信息和物体目标信息；

S2、对S1中选择出的文本信息、物体目标信息和待回答问题进行理解，并推理出各文本信息和各物体目标信息之间的关系；

S3、根据S2中推理出的关系从候选答案中选择出与待回答问题匹配度最高的答案。

10.根据权利要求9所述的基于文本的文本视觉问答方法，其特征在于，步骤S2的内容包括：

S21、理解待回答问题的含义；理解的过程包括：先得到问题向量，再捕获问题中的上下文信息，最后采用自注意力机制获得问题表示；

S22、理解文本信息的上下文信息和物体目标信息；具体为：依次对OCR文本向量或目标向量进行单词级注意力、多层级注意力和自注意力处理，实现对OCR文本和目标上下文的充分理解；

S23、对理解后的OCR文本和目标进行关系推理，获得OCR文本与目标之间的多重关系；

步骤S21、S22和S23的顺序不定。