[发明专利]一种同主题文本集合中多文本摘要获取方法

说明书

本发明涉及一种同主题文本集合中多文本摘要获取方法，首先通过对文本进行预处理，包括分词，停用词处理，特征选择，降维等；下一步，利用处理之后的特征词构造空间向量模型，生成距离矩阵；然后在聚类方法中加入样本密度排序的方法，以中心向量为圆心，用向量空间中特征值距离的平均值为半径构造圆，根据圆内排序好的文本内容相似度生成的样本密度来自动确定初始聚类中心，从而自动发现文档集合中的潜在对应的子主题集合的数量；生成对应的子主题集之后，方法对已聚类的子主题文本进行有监督的训练，对句子进行评分，标记，从不同的子主题中抽取中心句作为多文本的摘要，最后，方法输出摘要的内容；提高了多文本摘要的质量。

技术领域

本发明涉及一种同主题文本集合中多文本摘要获取方法，属于自然语言处理、情报科学的交叉技术领域。

背景技术

目前，互联网每天都涌现海量信息，各个领域都出现了信息爆炸的情况，大数据时代已经来临。人们需要快速、准确地从海量信息中找到有用信息。自动摘要技术自动对大规模电子文本快速地进行浓缩、提炼，抽取其中关键信息，生成给定原文的中心内容，使其成为解决当前信息过载问题、加快阅读和获取信息资源的一个准确而高效的手段。随着计算机科学的发展和自然语言处理技术的不断进步，自动摘要技术已经广泛地应用到其他相关领域，比如文本分类、信息检索、问答系统等。它的优势表现在以下两个方面：一是自动摘要技术在准确率和召回率两方面达到了很好的平衡，所抽取的摘要既能包含文本的主要内容，又能保证摘要内容尽可能少的重复，提高了用户浏览信息的效率；二是自动摘要技术注重摘要内容的可读性和摘要的表现形式，方便用户理解信息内涵。

近年来，多文本自动摘要技术成为自动摘要领域的研究热点。多文本自动摘要的研究对象是以同一个主题下的文档集合，特点是文档之间具有很多的相似信息，多文本自动摘要的关键不仅包括如何识别和处理文档之间的共同信息，还要对多篇同一主题的文档集合进行汇总和压缩，最终形成的摘要必须包含所有文档中的关键信息。

目前的多文本自动摘要技术主要存在以下问题：

(1)多文本自动摘要研究中涉及到使用聚类方法，这些聚类方法有一个共同的缺陷，那就是这些聚类方法往往无法自动估计类簇中心的个数，都需要人工给定聚类的数目。人工给定的聚类数目所产生的主题数量会产生偏差，因此无法自动发现文档集隐含的自然的潜在子主题。

(2)现有的摘要抽取这方面，仅仅考虑关键词的出现频率，而忽略描述相关子主题事件文本内容的重要性。所以抽取的摘要冗余度高，重要句子提取不准确，覆盖率低，连贯性差等诸多局限性，而且生成摘要所需要的时间也比较长。

发明内容

本发明所要解决的技术问题是提供一种同主题文本集合中多文本摘要获取方法，不仅提高了生成摘要的准确率和召回率，而且还减少了自动摘要生成的时间。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种同主题文本集合中多文本摘要获取方法，初始化针对文本集合中所有文本进行任意排序，并结合各文本中各句子的顺序，获得文本集合中所有句子的排序；以及结合各句子中各特征项的顺序，获得文本集合对应所有句子中所有特征项的顺序，然后执行如下步骤：

步骤A.获得文本集合中各句子的权重W_i，以及获得文本集合对应所有句子中各特征项的权重Q_j，然后进入步骤B；其中，i∈{1、…、I}，I表示文本集合中所有句子的总数，j∈{1、…、J}，J表示文本集合对应所有句子中所有特征项的总数；

步骤B.根据文本集合中各句子权重W_i，以及文本集合对应所有句子中各特征项权重Q_j，获得各句子分别与各特征项之间的相似度S_ij，并构建文本向量矩阵S(i,j)，然后进入步骤C；