[发明专利]一种基于C-S和GRU的看画题诗方法

权利要求书

1.一种基于CornerNet-Saccade和GRU的看画题诗方法，其特征在于包括如下步骤：

步骤(1)：收集为画题诗及为诗作画的画与诗，所述诗为五言诗，将收集到的五言诗中的每个不重复的字建立字库，并为每个字分配一个200维的向量；对画中的人和物体的位置、人和物体的类别用人工方法进行标注，画中每一个标注的人或物体代表一个意象词，为所有不重复的意象词建立词库，每张画都有欲表达的中心思想，用中心词表示中心思想，对画的中心词的类别标签人工方法进行标注，为所有不重复的中心词建立词库，为所有意象词、中心词都分配词向量，词向量大小为100维；

步骤(2)：将步骤(1)标注好的画输入CornerNet-Saccade目标检测网络训练，训练集和验证集按照9:1的比例划分，模型的优化函数为计算随机梯度下降，学习速率为0.01，迭代5000次，将未标注的画输入到训练好的模型中，输出画中人、物体的预测框B_k及类别，从而得到意象词，再从词库中获取意象词对应的词向量，其中预测框B_k表示输入画中检测到的第k个预测框；将输出的预测框B_k水平和垂直方向都分成10份，对每一份都进行最大池化(max pooling)，得到100维的特征使起始向量n表示输入画中检测到的所有预测框数目；

步骤(3)：将步骤(1)中标注好的画送入MobileNetV3识别网络训练，训练集和验证集按照9:1的比例划分，模型的优化函数为计算随机梯度下降，学习速率为0.01，迭代5000次，将未标注的画输入到训练好的模型中，输出画对应的中心词类别，从而得到画的中心词，再从词库中获取中心词对应的词向量；

步骤(4)：建立第一层GRU网络，所述第一层GRU网络由N个GRU单元组成，其中最后一个单元连接一个全连接层和一个softmax层，用于生成所题诗的前2句；第一层GRU网络输入为步骤(2)所有检测到的意象词词向量的和X和一个100的起始向量bos，即输入为C₁＝(X，bos)，其中X＝(x₁+x₂+…+x_i+…+x_n)，x_i表示从画中检测到的每个意向词向量；通过第一层GRU网络得到满足韵律要求的每个候选字的概率，选择概率最大的字作为五言诗的第一个字A₁，然后再将第一个字的字向量输回第一层GRU网络，利用第一个字预测得到第二个字A₂，并用同样的方式依次得到五言诗前2句的每个字{A₁，A₂,……,A₁₀}；

步骤(5)：建立第二层GRU网络，所述第二层GRU网络由M个GRU单元组成，最后一个单元连接一个全连接层和一个softmax层，用于生成所题诗的后2句，第二层GRU网络的输入为意象词向量的和X和中心词向量Y组成的向量其中X、Y为100维的向量，表示后2句诗的最后一个字的字向量；通过第二层GRU网络得到满足韵律要求的每个候选字的概率，选择概率最大的字作为五言诗后2句的第一个字A₁₁，然后再将第一个字的字向量输回第二层GRU网络，利用第一个字预测得到第二个字A₁₂，并用同样的方式依次得到五言诗后2句的每个字{A₁₁，A₁₂,……,A₂₀}，双层GRU网络一同训练，模型优化函数为随机梯度下降，学习速率为0.01，迭代次数为5000次。

2.如权利要求1所述的基于CornerNet-Saccade和GRU的看画题诗方法，其特征在于：步骤(4)中所述满足韵律要求每个候选字的概率，其韵律要求包括：平仄韵律，押韵韵律；所述平仄韵律的具体实施方法：根据预先构建平仄函数和平仄矩阵以及预测的当前字的位置，确定预测当前字的平仄取值，在满足平仄取值的候选字中选取概率最大候选字；所述五言诗的平仄矩阵为：

平仄矩阵中P(i,j)代表当前字的位置，i代表诗句的行，j代表诗句的列；0表示该位置的字代表平仄不限，1或者-1代表该位置为平或者仄，2或-2表示该位置与第1句第2字平仄相同或相反，3或-3表示该位置与第1句第3字平仄相同或相反；

所述平仄函数为：

H(i,j)代表平仄取值；

所述押韵韵律的具体实施方法：预测五言诗的第2、4句的最后一个字时需要满足韵脚规律，根据预先构建的韵脚编码与汉字之间的映射表，确定要预测的当前字属于哪个汉字集，再从这个汉字集中的候选字选择概率最大的字的作为当前字；所述韵脚编码与汉字之间映射表，其特征在于：依据平韵和仄韵，将106个韵脚进行编码，第一个韵脚编码为0，最后一个韵脚编码为105，将每个韵脚编号对应的汉字组合成汉字集，在预测需要满足韵脚要求的字时，将第一句最后一个字的韵脚根据编码映射到汉字集，并除去该字，并选取其余候选字中概率最大的字作为当前字。