[发明专利]面向指向性视觉理解和分割的图像描述预测方法

权利要求书

1.一种面向指向性视觉理解和分割的图像描述预测方法，用于根据RGB图像和描述语言，在RGB图像中定位描述语言指代的对象；其特征在于包括如下步骤：

步骤1，设置输入的RGB图像的大小为416×416×3，描述语言的最长文本输入设置为15；

步骤2，分别获取RGB图像在三个尺度的视觉特征：以及描述语言的语言特征：为实数集；

步骤3，将语言特征的维度变成1×1×1024，将视觉特征F_v1与其进行融合得到F_m1，然后进行多尺度的融合，得到三个尺度的多模态特征{F_m1,F_m2,F_m3}；进而通过自底而下的融合以更新多模态特征，得到新的特征为{F_m1',F_m2',F_m3'}；

步骤4，利用F_m3'预测得到指向性视觉分割结果表示52×52个位置的每个位置上物体的分割结果；利用F_m1'预测得到指向性视觉理解结果分别表示13×13个位置的每个位置上预测得到的关于对象的外接矩形的中心坐标、长宽、置信度；

所述步骤4中，基于训练的神经网络进行预测，所用的损失函数的计算方法是：

步骤A，通过如下线性映射得到需要预测的结果：

Logit_s＝Sigmoid(F′_m1W_ls)

Logit_xy＝Sigmoid(F′_m3W_xy)

Logit_wh＝exp(F′_m3W_wh)

Logit_conf＝Sigmoid(F′_m3W_conf)

其中，W_ls、W_xy、W_wh、W_conf分别为预测头的参数矩阵；Logit_s为指向性视觉分割结果，与标签Label_s直接计算损失函数，如下：

而Logit_xy,Logit_wh,Logit_conf分别为预测的物体外接矩形的中心坐标、长宽、置信度：

其中BinaryCrossEntry和SmoothL1定义为：

BinaryCrossEntry(x,x')＝x'log(x)+(1-x')log(1-x)

步骤B，将F_m1'和F_m3'通过基于语言的注意力模块GARAN得到注意力特征和设计如下损失函数，通过优化两个注意力特征来最大化面向指向性视觉理解任务和面向指向性视觉分割任务的共同关注：

l_cem＝-log(E_s'T_scE_c')

其中：

E'_s、E'_c表示分别利用注意力特征预测得到的注意力图；T_sc为注意力特征和之间的相关系数；W_s和W_c为可训练的权重；上式的以及表示为和中的一个元素；训练过程中通过最小化l_cem来优化两个任务之间的共同关注，则最终的损失函数加权相加为：

l＝0.1×l_s+l_xy+l_wh+l_conf+l_cem

步骤5，给定预测得到的指向性视觉分割结果Logit_s，以及指向性视觉理解结果的目标框记为b和其对应的置信度记为p，其中Logit_s中的每个元素o_i被更新为：

其中m_i为更新后的元素；α_up和α_dec由下式自适应地决定：

α_up＝sin(p)*p

α_dec＝-sin(p)*p

通过上式，利用指向性视觉理解的预测结果来自适应地增强并重新得到指向性视觉分割的预测结果。