[发明专利]一种基于卷积神经网络的图像描述语句生成方法

权利要求书

1.一种基于卷积神经网络的图像描述语句生成方法，其特征在于，包括：

S1、获取预设MSCOCO数据集中的数据，并对获取的数据进行预处理；

S2、采用预训练的卷积神经网络结合注意力机制策略对预处理后的数据进行图像信息提取，并确定重要图像的特征向量；

S3、将所述重要图像的特征向量通过一个全连接层合并，得到融合特征向量并输入到解码器中；

S4、通过自适应注意力机制和双向长短时记忆网络模型处理所述融合特征向量，并生成图像描述语句。

2.根据权利要求1所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述对获取的数据进行预处理包括文本数据预处理和图像数据预处理；

其中，文本数据预处理，对标题的编码版本进行处理；

图像数据预处理，对图像的尺寸大小进行统一调整，并将调整好的图像保存。

3.根据权利要求1所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述采用预训练的卷积神经网络结合注意力机制策略对预处理后的数据进行图像信息提取，并确定重要图像的特征向量包括以下步骤：

S21、计算提取出的每个图像特征向量的初始权重；

S22、依次选取预设阈值数量的初始权重最大的图像；

S23、根据选取图像的空间位置信息，选取出与其相邻的所有图像的特征向量，作为重要图像的特征向量。

4.根据权利要求3所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述每个图像特征向量的初始权重的计算公式如下：

其中，b_t,i,j表示解码器生成第t个单词时，位置(i，j)处图像的特征向量的权重，且1≤i≤8，1≤j≤8；

exp(·)表示指数函数；

e_t,i,j表示权重的中间状态。

5.根据权利要求3所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述依次选取预设阈值数量的初始权重最大的图像中阈值数量设置为3。

6.根据权利要求1所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述S3中所述解码器为双向长短时记忆网络模型。

7.根据权利要求1所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，通过自适应注意力机制和双向长短时记忆网络模型处理所述融合特征向量，并生成图像描述语句包括以下步骤：

S41、通过交叉熵损失函数对双向长短时记忆网络模型进行训练；

S42、计算正、反向长短时记忆网络在m时刻的隐藏层状态；

S43、采用求和的方式结合双向运算的输出得到当前时刻的隐藏层状态；

S44、通过自适应注意力机制结合融合特征向量与双向长短时记忆网络的输出得到单词概率；

S45、依次选取m时刻的概率最大的单词作为m时刻的结果，并将以上单词按照产生顺序连接并作为网络最后的输出，完成图像描述。

8.根据权利要求7所述的一种基于卷积神经网络的图像描述语句生成方法，其特征在于，所述通过交叉熵损失函数对双向长短时记忆网络模型进行训练的计算公式如下：

其中，E表示损失值；

Ω表示类别数；

k表示每一个类别；

W(k)表示一个one-hot向量，one-hot表示一项属性的特征向量；

pc_(k)表示预测样本属于类别c_(k)的概率。