[发明专利]一种基于语义相似度的中文自动文本摘要评价方法

权利要求书

1.一种基于语义相似度的中文自动文本摘要评价方法，其特征在于，包括以下步骤：

步骤一、从LCSTS中文摘要数据集PARTⅡ、PARTⅢ部分中抽取出摘要文本、新闻短文本和人工标注；

步骤二、对抽取出的摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；

步骤三、将以预训练词向量进行表征的摘要文本和新闻短文本输入至DPCNN-Siamese混合网络模型中进行评分。

2.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述步骤二中对摘要文本和新闻短文本进行预处理的具体步骤如下：

步骤2.1、通过python的lxml库将LCSTS中文摘要数据集中的摘要文本、新闻短文本和人工标注的内容抽取出来，并按照对应顺序分别输出到不同文件中；

步骤2.2、使用LTP分词工具对从LCSTS中文摘要数据集中抽取出的摘要文本和新闻短文本进行分词处理，并使用中文维基百科语料预训练词向量作为中文数据的文本词向量；

步骤2.3、将摘要文本和新闻短文本中的中文转换成300维的预训练词向量，并将每一条摘要文本的篇长处理成32字符、每一条新闻短文本的篇长处理成128字符；

步骤2.4、将已经处理成篇长32字符的摘要文本和128字符的新闻短文本分别输入到神经网络中。

3.根据权利要求2所述的中文自动文本摘要评价方法，其特征在于，

将摘要文本的篇长处理成32字符的具体方法如下：设置一个(n,32)维的空列表，并逐条录入摘要文本数据，当该条摘要文本的篇长小于32字符时，则在其后以补零的方式处理；当该条摘要文本的篇长大于32字符时，则截掉超出32字符的内容，只录入前32个字符的数据；

将新闻短文本的篇长处理成128字符的具体方法如下：设置一个(n,128)维的空列表，并逐条录入新闻短文本文本数据，当该条新闻短文本的篇长小于128字符时，则在其后以补零的方式进行处理；当该条新闻短文本的篇长大于128字符时，则截掉超出128字符的内容，只录入前128个字符的数据；

其中：n代表LCSTS中文摘要数据集的样本个数。

4.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述步骤三对摘要文本和新闻短文本进行评分的具体步骤如下：

步骤3.1、将摘要文本和新闻短文本分别输入至基于Siamese网络的结构中；

步骤3.2、根据输入至基于Siamese网络的结构中的摘要文本和新闻短文本的长度分别通过深度不同的DPCNN网络1和DPCNN网络2进行特征抽取；

步骤3.3、将摘要文本和新闻短文本的特征通过concat函数进行拼接池化后输入至全连接层中；

步骤3.4、将人工标注作为分类结果，使用softmax函数对输入至全连接层中的摘要文本和新闻短文本的特征与人工标注进行语义相似度进行匹配、打分；

步骤3.5、将生成摘要文本或新闻短文本相似度打分进行加权平均，得到该条摘要文本或新闻短文本的文本得分。

5.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述DPCNN-Siamese混合网络模型设置为Siamese网络模型与DPCNN网络模型相结合的混合网络模型，其中，Siamese网络模型用于进行语义相似度匹配，DPCNN网络模型用于对摘要文本或新闻短文本的特征进行提取。