[发明专利]一种基于语义相似度的中文自动文本摘要评价方法

说明书

本发明提供一种基于语义相似度的中文自动文本摘要评价方法，具体步骤包括：从LCSTS中文摘要数据集中抽取出摘要文本、新闻短文本和人工标注；对摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；将摘要文本和新闻短文本输入至DPCNN‑Siamese混合网络模型中进行评分。本发明提出一种基于Siamese网络结构的混合改进模型，使用LCSTS数据集中带有人工评价的部分，将新闻标题和新闻内容作为输入，分别使用DPCNN网络结构提取文本的特征，并将两个网络层的输出进行拼合，以人工评价的分数作为标签数据进行训练，通过模拟中文使用者的语言习惯来评价模型所生成的中文文本摘要的好坏。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于语义相似度的中文自动文本摘要评价方法。

背景技术

当前社会的发展正在朝着人工智能、大数据的信息化方向发展，各式各样的文本信息层出不穷，如新浪微博、豆瓣短评、新闻日报等大量信息涌入到人们的日常生活之中，这也导致人们日常所获取的都是大量且冗余信息，许多精确且重要的内容都被过长的文本所遮掩，从而难以快速高效的获取有用信息。

随着人工智能技术的不断发展与进步，自动文本摘要技术逐渐在高效压缩提取信息方面发挥着重大作用。在传统的文本生成任务中，对于神经网络模型所生成的文本，人们往往很难评估他们的质量。如果单纯的是通过人工的评估的方式来评选机器所生成的文本摘要，其过程是非常昂贵且耗时的，并且还会存在因为每个人的评估标准不一致而导致的评分误差。当研究人员对模型进行更新和改进之后，其生成结果则还需要重新评估，故而非常影响实验效率。且由于文本摘要兴起于国外，生成的文本主要是语法结构相对规范的英文，故而采用BLEU、ROUGE等方法，以词的重合度作为评价标准来判断生成摘要的质量是具有可行性的。但对于中文来说，标准汉语语法中最大的特点就是没有严格意义的形态变化，例如，名词通常没有格的变化，动词也不分人称，这与欧洲的语言存在的较大的差别。汉语的另一特点是省略，即不影响主题意思的词往往会被省略。故而人们要表达出一个意思可以存在多种不同的表达方式，在以字的重合度作为评价标准时，则显得不太准确。

发明内容

本发明的目的在于针对现有的中文文本摘要评价方法多采用英文摘要的评价方法与实际中文使用者的语言习惯存在偏差的问题，提供一种可用来提高中文文本摘要评价的准确性的一种基于语义相似度的中文自动文本摘要评价方法。

为实现上述目的，本发明提供了一种基于语义相似度的中文自动文本摘要评价方法，包括以下步骤：

步骤一、从LCSTS中文摘要数据集PARTⅡ、PARTⅢ部分中抽取出摘要文本、新闻短文本和人工标注；

步骤二、对抽取出的摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；

步骤三、将以预训练词向量进行表征的摘要文本和新闻短文本输入至DPCNN-Siamese混合网络模型中进行评分。

作为本发明的进一步方案：所述步骤二中对摘要文本和新闻短文本进行预处理的具体步骤如下：

步骤2.1、通过python的lxml库将LCSTS中文摘要数据集中的摘要文本、新闻短文本和人工标注的内容抽取出来，并按照对应顺序分别输出到不同文件中；

步骤2.2、使用LTP分词工具对从LCSTS中文摘要数据集中抽取出的摘要文本和新闻短文本进行分词处理，并使用中文维基百科语料预训练词向量作为中文数据的文本词向量；

步骤2.3、将摘要文本和新闻短文本中的中文转换成300维的预训练词向量，并将每一条摘要文本的篇长处理成32字符、每一条新闻短文本的篇长处理成128字符；

步骤2.4、将已经处理成篇长32字符的摘要文本和128字符的新闻短文本分别输入到神经网络中。