[发明专利]基于知识感知的模块化视觉推理方法及装置

权利要求书

1.一种基于知识感知的模块化视觉推理方法，其特征在于，包括以下步骤：

获取图片，并获取所述图片对应的提问文本；

对所述提问文本进行动态解析生成多个神经网络模块；

将所述多个神经网络模块变换为树状结构神经网络模块，并对所述树状结构神经网络模块进行实例化处理生成知识感知神经网络模型；

对所述图片进行视觉特征处理得到图片特征，将所述图片特征输入所述知识感知神经网络模型，并输出所述提问文本对应的答案。

2.根据权利要求1所述的方法，其特征在于，还包括：

对所述提问文本进行动态解析生成每个神经网络模块对应的文本特征参数，将所述每个神经网络模块对应的文本特征参数作为所述每个神经网络模块的参数。

3.根据权利要求1所述的方法，其特征在于，所述对所述提问文本进行动态解析生成多个神经网络模块，包括：

通过注意力机制的序列到序列模型对所述提问文本的单词序列进行编码；

对编码后的单词序列进行多步解码，在解码时生成多个神经网络模块。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取外部指导知识；

根据所述外部指导知识对所述知识感知神经网络模型中相关模块进行模型参数优化。

5.根据权利要求1所述的方法，其特征在于，在所述输出所述提问文本对应的答案后，还包括：

判断所述答案与预设标准答案是否一致；

若不一致，则对所述知识感知神经网络模型进行更新。

6.一种基于知识感知的模块化视觉推理装置，其特征在于，包括：

第一获取模块，用于获取图片，并获取所述图片对应的提问文本；

处理模块，用于对所述提问文本进行动态解析生成多个神经网络模块；

建模模块，用于将所述多个神经网络模块变换为树状结构神经网络模块，并对所述树状结构神经网络模块进行实例化处理生成知识感知神经网络模型；

推理模块，用于对所述图片进行视觉特征处理得到图片特征，将所述图片特征输入所述知识感知神经网络模型，并输出所述提问文本对应的答案。

7.根据权利要求6所述的装置，其特征在于，还包括：生成模块；

所述生成模块，用于对所述提问文本进行动态解析生成每个神经网络模块对应的文本特征参数，将所述每个神经网络模块对应的文本特征参数作为所述每个神经网络模块的参数。

8.根据权利要求6所述的装置，其特征在于，所述对所述提问文本进行动态解析生成多个神经网络模块，包括：

通过注意力机制的序列到序列模型对所述提问文本的单词序列进行编码；

对编码后的单词序列进行多步解码，在解码时生成多个神经网络模块。

9.根据权利要求6所述的装置，其特征在于，还包括：

第二获取模块，用于获取外部指导知识；

调整模块，用于根据所述外部指导知识对所述知识感知神经网络模型中相关模块进行模型参数优化。

10.根据权利要求6所述的装置，其特征在于，在所述输出所述提问文本对应的答案后，还包括：

判断所述答案与预设标准答案是否一致；

若不一致，则对所述知识感知神经网络模型进行更新。