[发明专利]一种基于C-S和GRU的看画题诗方法

说明书

本发明公开了一种基于CornerNet‑Saccade和GRU的为图题诗方法，采用CornerNet‑Saccade检测画中的目标，并提取出画中的意象词，同时采用MobileNetV3网络分类画要表达的思想，提取中心词，并把意象词和中心词都向量化，输入双层GRU网络输出需要的五言诗。在当今社会，艺术形式不断变化，古诗词的创作艺术不断流失，本发明提出一种人工智能和作诗相结合的看画题诗的方法，能把文字信息和图像信息融合，使其在艺术上更有美感，提升其艺术价值。

技术领域

本发明属于神经网络自动看画题诗的深度学习领域，涉及到目标检测、自然语言处理等技术，尤其涉及到一种基于C-S(CornerNet-Saccade)和GRU(Gate Recurrent Unit)的看画题诗方法

背景技术

随着深度学习在计算机视觉和自然语言处理领域的发展，人工智能已经日渐渗透人们的生活，在未来的艺术创作领域，人工智能也必然会有一番作为。在当今社会，艺术形式不断变化，古诗词的创作艺术不断流失，人类的非物质文化遗产也面临着危机，在高速的生活节奏下，保护古诗词等非物质文化遗产的传承也是社会应当重视的问题。深度神经网络通过训练学习到的看画题诗的方法，也是现代人工智能技术和古人智慧的一种结合。

相关技术中自动看画题诗方法目前较少，对画中提取的意象词和画的图像信息并没有做处理，也没有利用画所表达的中心思想作为建模方式，导致所作的诗文不对题，逻辑不通。

发明内容

本发明克服了现有技术的不足之处，提出了一种基于CornerNet-Saccade和GRU的看画题诗方法，意在提升现有计算机作诗效果，提升输入特定画作的美感，也可以利用本申请网络所作的诗提升画作的艺术价值。

本发明为达上述发明目的，采用如下技术方案：

一种基于CornerNet-Saccade和GRU的看画题诗方法，其步骤包括：

步骤(1)：对画用CornerNet-Saccade算法进行目标检测，softmax层对检测到的目标分类，获取意象词；将同一张画输入MobileNetV3网络，softmax层对画表达的中心思想分类，获取中心词。

步骤(2)：为画数据集中所有人工方法标注的意象词、中心词建立词库并分配词向量，词向量大小为100维。

步骤(3)：为五言诗数据集中古诗的每一个不重复的字都分配一个200维的向量，并建立字向量的库。

步骤(4)：建立第一层GRU网络，所述第一层GRU网络由N个GRU单元组成，其中最后一个单元连接一个全连接层和一个softmax层，用于生成所题诗的前2句。第一层GRU网络输入为步骤(2)所有检测到的意象词词向量的和X和一个100的起始向量bos，即输入为C₁＝(X，bos)，其中X＝(x₁+x₂+…+x_n)，x_i表示从画中检测到的每个意向词向量。通过第一层GRU网络得到满足韵律要求的每个候选字的概率，选择概率最大的字作为五言诗的第一个字A₁，然后利用再将第一个字的字向量输回第一层GRU网络，利用第一个字预测得到第二个字A₂，并用同样的方式依次得到五言诗前2句的每个字{A₁，A₂,……,A₁₀}。