[发明专利]一种视觉问答预测方法、系统及存储介质

权利要求书

1.一种视觉问答预测方法，其特征在于，包括以下步骤：

S1、获取待提问的图像v，对图像进行特征提取，获得区域视觉特征f_v(v)；获取关于图像的自然语言问题q，对所述自然语言问题进行特征提取，获得问题特征f_q(q)；

S2、构建偏差模型，以所述自然语言问题q为偏差模型的输入，捕获语言偏差b；

S3、利用所述区域视觉特征f_v(v)、问题特征f_q(q)、语言偏差b、标准的视觉问答模型获取第一预测内容利用所述区域视觉特征f_v(v)、问题特征f_q(q)获取第二预测内容其中，集成方法nn_b是线性神经网络，输出一个权重值；⊙表示逐元素相乘；C_cx(nn_q(f_q(q))⊙nn_v(f_v(v)))表示使用两个线性神经网络分别映射d_q维的问题特征向量和d_v维的区域视觉特征向量到一个公共空间然后将映射成相同维度的两种模态特征向量的逐元素乘积馈入到分类器C_cx；为以图像v和问题q为输入，模型获得的预测答案分布；

S4、利用下式获取最终的预测答案

2.根据权利要求1所述的视觉问答预测方法，其特征在于，还包括：

S5、将所述最终的预测答案代入损失函数当所述损失函数收敛时，固化所述内容模块和上下文模块的参数，并将此时得到的预测答案表达式作为最终的预测模型。

3.根据权利要求2所述的视觉问答预测方法，其特征在于，所述损失函数的表达式为：

其中，其中i表示视觉问答数据集中第i个样本，v_i,q_i,b_i分别表示第i个样本的图像、问题和语言偏差；表示第i个样本对应的最终的预测答案；y_i表示第i个图像与问题所对应的答案标签值，表示一个取值为0到1之间的，维数为的向量，该向量维数与视觉问答数据集中不同答案的数量相等；r是超参数，N表示样本总数，σ(·)表示sigmoid函数；B(·)是将第i个图像与问题所对应的语言偏差b_i转化为标签的函数，

4.一种视觉问答预测系统，其特征在于，包括：

区域视觉特征提取网络，用于对待提问的图像v进行特征提取，获得区域视觉特征f_v(v)；

循环神经网络，用于获取关于图像q的自然语言问题，对所述自然语言问题进行特征提取，获得问题特征f_q(q)；

偏差模型，以所述自然语言问题q为偏差模型的输入，捕获语言偏差b；

标准的视觉问答模型，以图像和自然语言问题为输入，输出预测答案分布内容模块，用于利用所述区域视觉特征f_v(v)、问题特征f_q(q)、语言偏差b、标准的视觉问答模型获取第一预测内容其中，nn_b是线性神经网络，输出一个权重值；⊙表示逐元素相乘；

上下文模块，用于利用所述区域视觉特征f_v(v)、问题特征f_q(q)获取第二预测内容其中，C_cx(nn_q(f_q(q))⊙nn_v(f_v(v)))表示使用两个线性神经网络分别映射问题特征向量和区域视觉特征向量到一个公共空间然后将映射成相同维度的两种模态特征向量的逐元素乘积馈入到分类器C_cx；

联合预测模块，用于融合所述内容模块和上下文模块的输出，获得预测模型。

5.根据权利要求4所述的视觉问答预测系统，其特征在于，还包括：

优化模块，用于将所述最终的预测答案代入损失函数当所述损失函数收敛时，固化所述内容模块和上下文模块的参数，并将此时得到的预测答案表达式作为最终的预测模型。