[发明专利]一种基于弱监督双流视觉语言交互的答案定位方法及装置

权利要求书

1.一种基于弱监督双流视觉语言交互的答案定位方法，其特征在于，所述方法包括：

通过基于视觉的语言编码器对视觉特征和自然语言特征分别进行线性映射，将映射后的视觉特征和自然语言特征进行多模态融合，使视觉特征向文本特征对齐；

通过基于语言的视觉解码器对视觉联级特征和自然语言特征分别进行线性映射，通过多模态融合使文本特征向视觉联级特征对齐，生成最终的答案定位图；

通过答案解码器对关注的视觉特征与问题特征进行最终融合，生成联合嵌入，通过分类器从答案集中预测正确答案；

通过在双流语言视觉问答定位中引入弱监督学习，让模型学习自身生成的伪标签，来补充真实数据的缺失；

根据正确答案和答案定位图，用于残障人士识别图像中的信息。

2.根据权利要求1所述的一种基于弱监督双流视觉语言交互的答案定位方法，其特征在于，所述基于视觉的语言编码器为：

将视觉编码器所提取的视觉特征通过两个独立的线性映射层转换为视觉特征K_vl和V_vl，自然语言嵌入经过自注意力层提取内部相关信息，并通过线性映射层映射为Q_vl；

将Q_vl、K_vl和V_vl输入到交叉注意力层中，交叉注意力层使用语言特征作为视觉查询的参考，经过前馈网络层后生成特征F_vl；

最大化目标训练网络，定义为：

其中，数据集为C，L_Answer(C)为答案解码器，x为嵌入序列，y为答案标签。

3.根据权利要求1所述的一种基于弱监督双流视觉语言交互的答案定位方法，其特征在于，所述基于语言的视觉解码器为：

将视觉编码器所提取的联级特征线性映射为Q_lv，将基于视觉的语言编码器提取的语言特征线性映射为K_lv和V_lv，最后使用交叉注意力层进行多模态特征的融合，生成联级特征；

融合后的联级特征通过U-Net网络来生成答案定位，U-Net网络通过最小化部分交叉熵损失L_CE来训练，计算有标记n个像素i的损失，定义为：

其中，为模型预测的像素类别，为真值像素类别，n为像素总量。

4.根据权利要求1所述的一种基于弱监督双流视觉语言交互的答案定位方法，其特征在于，所述通过在双流语言视觉问答定位中引入弱监督学习，让模型学习自身生成的伪标签：

使用邻居的标签凸组合迭代更新像素标签m:,i,j，对伪标签进行细化，在t^th次迭代中：

其中，m代表掩膜(mask)，:,i,j中，:表示该维度的所有值，(i,j)表示坐标值；

在像素级强度I上使用核函数：

其中，将σ_i,j定义为图像强度的标准偏差，应用softmax获得(i,j)的每个邻居(l,n)的最终亲和距离α_i,j,l,n；

其中，L_Pseudo为伪标签的交叉熵损失；

总体损失L进行训练，定义为：

L＝L_Answer+L_CE+L_Pseudo。

5.一种基于弱监督双流视觉语言交互的答案定位装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-4中的任一项所述的方法步骤。