[发明专利]基于多级注意力的细粒度图像描述方法及系统

权利要求书

1.一种基于多级注意力的细粒度图像描述方法，其特征在于，包括：

利用视觉注意力机制融合图像的全局特征和局部细粒度特征，得到图像的第一融合特征；

将融合特征输入至多标签分类网络中，生成所有标签的分布，得到图像标签的视觉注意信息和语义注意信息；具体的：将上一个任务提取的融合特征输入到多标签分类网络MLC，生成所有标记L的分布：

其中l表示标签向量，l_i＝0/1分别表示第i个标签缺失或存在；MLC_i表示MLC网络的第i个输出，N为标签个数；最后，选取M个可能性最大的标记转换为字嵌入向量，被用作下一步的语义向量，即得到图像标签的视觉注意信息和语义注意信息；

利用注意力机制将图像的第一融合特征和图像标签的视觉注意信息和语义注意信息融合，生成图像特定区域的文本描述；具体的：在时间步s，联合上下文特征向量z_t由联合注意力网络生成；其中是联合注意力网络在时间步s-1的隐藏状态；联合注意网络N_att使用单层前馈网络计算输入图像特征和标签的视觉注意信息和语义注意信息：

其中W_vatt，W_v，W_v,h是视觉注意网络参数；W_aatt，W_a，W_a,h是语义注意网络参数；

视觉和语义上下文向量计算如下：

将图像特定区域的文本描述进行编号后输入至基于注意力的LSTM语言生成模型，输出细粒度的图像描述；基于注意力的LSTM语言生成模型包括LSTM网络，LSTM网络包含注意力机制；LSTM网络的最后一层输出端与Softmax层相连，Softmax层用于选取LSTM网络每一时刻的输出结果中概率最大的词并连接成描述句子，作为基于注意力的LSTM语言生成模型的最终输出结果。

2.如权利要求1所述的基于多级注意力的细粒度图像描述方法，其特征在于，使用深度残差网络Inception-resnet模型提取图像的全局特征。

3.如权利要求1所述的基于多级注意力的细粒度图像描述方法，其特征在于，采用深度网络RetinaNet提取图像的局部特征。