[发明专利]一种基于深度强化学习自适应式生成图像描述的方法

权利要求书

1.一种基于深度强化学习自适应式生成图像描述的方法，其特征在于，具体步骤如下：

步骤1：将数据分为训练集和测试集，训练集由图像及其相应的描述组成，测试集由图像组成；

步骤2：将训练数据集的图像输入卷积神经网络提取图像特征；

步骤3：将训练集的图像描述用one-hot编码方式进行编码来生成与图像对应的文本序列；

步骤4：将步骤2、3中的图像特征向量和文本序列输入至决策模块，以控制生成下一个词语时是否利用视觉信息；

步骤5：若通过决策模块后触发不利用视觉信息的方法索引，则将图像特征向量和文本序列输入至长短期记忆网络(Long Short-Term Memory，LSTM)生成图像描述；若通过决策模块后触发利用视觉信息索引生成下一个单词，则将图像特征向量和文本序列输入至有注意力机制的LSTM中生成描述；

步骤6：使用基于一致性的图像描述评价(Consensus-based Image DescriptionEvaluation，CIDEr)计算奖励反馈到决策模块进行更新并同时反馈到生成模块中进行比重的修正；

步骤7：最大限度的提高最终生成描述y相对于真实描述y*的回报以对图像描述模型进行训练；

步骤8：将测试数据集的图像分别输入到训练好的图像描述模型中得到相对应的描述语句。

2.根据权利要求1所述的方法，其特征在于：所述步骤4中的决策模块具体实现为——令作为生成下一个单词的决策概率分布；计算如下：

g_t＝σ(W_xx_t+W_hh_t-1) (1)

s_t＝g_t⊙tanh(m_t) (2)

u_t＝softmax(W_us_t+b_u) (3)

n_t＝argmax(u_t) (4)

式(1)中g_t表示记忆控制门，W_x和W_h为要学习的权重矩阵，x_t为t时刻LSTM的输入，h_t-1为前一时刻的输出状态，σ为非线性激活函数；式(2)中s_t表示当前时刻包含的语义信息的状态，m_t为LSTM中的记忆细胞，tanh为激活函数，⊙表示元素乘积；式(3)中的u_t为生成下一个单词的决策概率分布，W_u和b_u是网络参数，softmax为激活函数；式(4)表示u_t经过argmax函数得到最高概率索引n_t；计算后，将根据最高概率索引去触发生成模块中的不同生成方法。

3.根据权利要求1所述的方法，其特征在于：步骤5中若通过决策模块后触发不利用视觉信息的方法索引，则将图像特征向量和文本序列输入至长短期记忆网络(Long Short-Term Memory，LSTM)生成图像描述，此时用上一时刻的隐层状态h_t-1、当前输入x_t和当前隐层状态h_t经过多层感知机预测得到输出y_t；

若通过决策模块后触发利用视觉信息索引生成下一个单词，则将图像特征向量和文本序列输入至有注意力机制的LSTM中生成描述，令上下文向量：

C_t＝Atten(V，h_t-1) (5)

式(5)中V为图像特征，Atten为注意力机制的函数；此时用上下文向量C_t、上一时刻的隐层状态h_t-1、当前输入x_t和当前隐层状态h_t经过多层感知机预测得到输出y_t。