[发明专利]一种图像问答推理方法、系统及装置

说明书

本发明公开了一种图像问答推理方法、系统及装置，方法包括：将输入的问题转换为问题特征向量，并根据卷积神经网络将输入的图像转换为图像特征向量；采用batch normalization运算方法，分别对转换得到的问题特征向量和图像特征向量进行推理；根据推理结果，得到问答结果。系统包括语言处理模块、视觉处理模块、多步推理模快和结果生成模块。装置包括存储器和处理器。本发明无需先验知识就能得到问答结果，提高了图像问答推理的准确率；另外，本发明通过采用batch normalization运算方法，能够对多层次多类型的问题进行推理，提高了泛化能力。本发明可广泛应用于自然语言处理领域。

技术领域

本发明涉及自然语言处理领域，尤其是一种图像问答推理方法、系统及装置。

背景技术

基于视觉的问答推理是人工智能领域中一个重要的组成部分。使用深度神经网络的图像处理和自然语言处理已经在一些相对困难的任务中取得了巨大的突破，如物体识别任务和机器翻译任务。这些进展又反过来促进了那些同时涉及视觉和自然语言处理的任务。

目前，针对图像问答推理的训练数据集逐步开源，尤其是涉及需要多步骤、高层次思维处理的任务数据集。传统的深度学习模型很难对这些结构化的、多步骤的推理进行学习训练，且传统的深度学习方法更倾向于学习数据的表面特征(即过拟合)而非真正的推理，泛化能力较弱，另外，这种方法需要大量的先验知识作为训练的前提，而且最终得到的拟合模型的准确率较低。因此，需要建立一种新的深度学习架构来实现显式的推理或关系关联。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种无需先验知识就能直接进行学习推理的，准确率高且泛化能力强的图像问答推理方法、系统及装置。

本发明所采取的第一技术方案是：

一种图像问答推理方法，包括以下步骤：

将输入的问题转换为问题特征向量，并根据卷积神经网络将输入的图像转换为图像特征向量；

采用batch normalization运算方法，分别对转换得到的问题特征向量和图像特征向量进行推理；

根据推理结果，得到问答结果。

进一步，所述将输入的问题转换为问题特征向量这一步骤，包括以下步骤：

采用word2vec算法，将问题中的中文词语转换为词向量；

根据循环神经网络对转换的词向量进行处理，得到问题特征向量。

进一步，所述采用batch normalization运算方法，对转换得到的问题特征向量进行推理这一步骤，具体为：

对转换得到的问题特征向量进行参数计算，得到对应BN层的参数。

进一步，所述根据卷积神经网络将输入的图像转换为图像特征向量这一步骤，包括以下步骤：

通过ImageNet数据库对输入的图像进行预训练；

根据残差神经网络的卷积计算方法，对输入的图像进行特征向量提取。

进一步，所述采用batch normalization运算方法，对转换得到的图像特征向量进行推理这一步骤，包括以下步骤：

根据特征提取得到的图像特征向量，对BN层进行参数定义；

根据参数定义后的BN层，构造多步推理模型；

根据构造的多步推理模型，对特征提取得到的特征向量进行训练处理。

进一步，所述根据推理结果，得到问答结果这一步骤，包括以下步骤：

结合卷积层、池化层和全连接层构造分类器；