[发明专利]一种基于神经网络模型的图像到汉语古诗的转换方法

权利要求书

1.一种基于神经网络模型的图像到汉语古诗的转换方法，其特征包括如下步骤：

步骤1、收集现有的汉语古诗作为诗集数据集Q＝{q₁,q₂,...,q_i,...,q_n}，q_i表示第i首汉语古诗，并有表示所述第i首汉语古诗中第v个字符，i＝1,2,…,n，v＝1,2,...,V_i；

获取图片资源以及与所述图片资源对应的语句描述资源作为图像数据集T＝{(I₁,s₁),(I₂,s₂),...,(I_j,s_j),....,(I_m,s_m)}；其中，I_j表示第j张图片，s_j表示所述第j张图片对应的语句描述，并有：表示所述第j张图片对应的语句描述中第z个字符，j＝1,2,…,m，z＝1,2,…,Z_j；

步骤2、建立多模态循环神经网络，所述多模态循环神经网络由深度卷积神经网络CNN和长短期记忆网络LSTM组成，并对所述多模态循环神经网络进行训练，得到图片最终的目标描述语句；

步骤2.1、利用式(1)所示的深度卷积神经网络CNN将第j张图片I_j映射到向量空间W中，从而得到第j张图片I_j的向量x′_j：

x′_j＝W_c[CNN(I_j)] (1)

式(1)中，CNN(I_j)表示利用深度神经网络CNN提取出的第j张图片I_j的特征向量，W_c为所述向量空间W的图像映射矩阵；

步骤2.2、利用式(2)所示的热编码方法将所述第j张图片I_j对应的语句描述s_j映射到所述向量空间W中，从而得到语句描述s_j的向量其中，表示所述语句描述s_j中第z个字符的向量，x₀表示所有语句描述的开始字符的向量，表示所有语句描述的结束字符的向量：

式(2)中，为所述语句描述s_j中第z个字符的热编码向量，W_e为所述向量空间W的字符映射矩阵；

步骤2.3、将所述第j张图片I_j的向量x′_j及其对应的语句描述s_j的向量x_j输入到式(3)所示的长短期记忆网络LSTM中，得到第j张图片I_j的目标描述语句的概率分布其中，表示所述第j张图片I_j的目标描述语句的概率分布y_j中第z个字符的概率分布，y₀表示所有目标描述语句的开始字符的概率分布，表示所有目标描述语句的结束字符的概率分布：

式(3)中，θ_σ为长短期记忆网络的参数；

步骤2.4、从所述第j张图片I_j的目标描述语句的概率分布y_j中第z个字符的概率分布中选取概率最大的字符作为所述第j张图片I_j的目标描述语句的第z个字符，从而得到所述第j张图片I_j的目标描述语句；

步骤2.5、利用所述图像数据集T对所述多模态循环神经网络进行训练，得到所述第j张图片I_j最终的目标描述语句；

步骤2.5.1、选用所述目标描述语句的概率分布y_j的负对数似然和的均值作为损失函数L₁(I,s)如式(4)所示：

式(4)中，N为批大小，表示每次训练迭代时的图片数量，且N＜m；I表示每次训练迭代的N张图片集合，s表示每次训练迭代的N张图片集合I的对应的语句描述集合；

步骤2.5.2、采用最小批随机梯度下降法对所述损失函数L₁(I,s)进行最小化处理，得到所述损失函数L₁(I,s)的导数L′₁；

步骤2.5.3、令所述多模态循环神经网络的参数为θ_α＝{W_c,W_e,θ_σ}，将θ_α+η₁L′₁赋值给θ_α，从而更新θ_α，用于对所述多模态循环网络的训练，其中，η₁表示所述多模态循环神经网络的学习速率；

步骤3、将另一幅输入图片I_g输入所述多模态循环神经网络中，得到最终的目标描述语句，并去掉最终目标描述语句中所有停词，将去除停词后的目标描述语句映射为汉语关键词K＝{k₁,...,k_t,...,k_L}，k_t表示所述输入图片I_g的第t个汉语关键词，t＝1,2,…,L，L＞1；

步骤4、利用长短期记忆网络建立汉语古诗生成模型并进行训练，从而实现图像到汉语古诗的转换，并生成对应的汉语古诗；

步骤4.1、定义历史诗句H为第1到第t-1行诗句，并初始化历史诗句H为零，初始化t＝1；

步骤4.2、利用热编码方法将所述输入图片I_g的第t个汉语关键词k_t及所述历史诗句H分别映射至向量空间Ψ中，得到第t个汉语关键词k_t的向量及所述历史诗句H的向量其中，表示所述输入图片I_g的第t个汉语关键词k_t的第d个字符的向量，表示所述历史诗句H中的第λ个字符的向量；

利用长短期记忆网络分别将第t个汉语关键词k_t的向量和所述历史诗句H的向量编码为向量和

步骤4.3、当t＝1且τ＝1时，均值初始化所述输入图片I_g的第t行诗句中第τ-1个字符的概率分布和第τ-1个字符的状态向量r_τ-1；τ表示第t行诗句中字符的个数；

步骤4.4、利用式(6)得到所述输入图片I_g的第t行诗句中第τ个字符的概率分布从而得到所述输入图片I_g的第t行诗句中所有字符的概率分布作为汉语古诗生成模型：

式(6)中，θ_β为所设定的参数，r_τ为第τ个字符的状态向量，并通过式(7)获得：

式(7)中，f()表示长短期记忆网络的内部激活函数；

步骤4.5、从所述输入图片I_g的第t行诗句第τ个字符的概率分布中选取概率最大的字符作为所述输入图片I_g的第t行诗句的第τ个字符，从而得到所述输入图片I_g的第t行诗句；

步骤4.6、将t+1赋值给t，并返回步骤4.2，直到t＞L为止，从而生成所述输入图片I_g的汉语古诗；

步骤4.7、利用如式(8)得到损失函数L₂(q)：

式(8)中，M为从所述诗集数据集Q中选取的任意一批汉语古诗的大小，表示每次训练迭代时的汉语古诗数量，且M＜n；q表示每次训练迭代的M首汉语古诗集合，表示任意一批汉语古诗中第ε首汉语古诗第t行诗句的第τ个字符输入所述汉语古诗生成模型中得到的模型概率分布，表示任意一批汉语古诗中第ε首汉语古诗第t行诗句的第τ个字符经过热编码处理后得到的期望概率分布；

步骤4.8、采用均方根传播算法对所述损失函数L₂(q)进行最小化处理，得到所述损失函数L₂(q)的导数L′₂；将θ_β+η₂L′₂赋值给θ_β，从而更新θ_β，用于对所述汉语古诗生成模型进行训练，其中，η₂表示所述汉语古诗生成模型的学习速率。