[发明专利]为主题文档集生成摘要的方法和装置

说明书

技术领域

本发明涉及计算机数据处理领域，特别涉及一种为主题文档集生成摘要的方法和装置。

背景技术

随着信息技术和互联网技术的不断发展，信息的数量越来越大，信息的来源也越来越广。如何从大量的、多个信息来源的主题文档集中快速得到该主题文档集的摘要，已成为人们关心的重要问题之一。

通常采用词频的方式生成主题文档集的摘要。首先，对该文档某一主题文档集中的每个文档的内容信息进行切词，得到多个词，对得到的多个词进行筛选，去除停用词后，得到多个分词；然后，通过每个分词的词频，确定该分词的重要性，进而确定分词所在的语句的重要性。最后，将语句的重要性较大的至少一个语句作为该文档的摘要。

前述生成摘要的方法至少存在以下问题：通过上述词频的方式生成主题文档集的摘要时，由于不同的语句其重要性不同，生成的摘要中相邻的两个语句在主题文档集中并不是相邻的，从而容易造成生成的摘要语句不顺畅，降低了摘要的质量和可读性。

发明内容

本发明的实施例提供一种为主题文档集生成摘要的方法和装置，通过从主题文档集的各篇文章中选取的候选摘要进行评分来获取主题文档集的摘要，从而提高主题文档集的摘要的质量。

为达到上述目的，本发明的实施例提供了一种为主题文档集生成摘要的方法。所述方法包括，候选摘要选取步骤：从主题文档集的各篇文章中选取一个和/或多个语句作为候选摘要；候选摘要评分步骤：根据预设的句法分析算法分别对所述候选摘要进行切词，并基于切词结果对所述候选摘要进行评分；摘要确定步骤：将所述评分所得的值最高的候选摘要作为所述主题文档集的摘要。

可选地，所述候选摘要选取步骤的处理包括：对所述主题文档集的任一篇文章，以窗口滑动的方式从所述文章的内容文本依次获取至少一组连续排列的语句分别作为第一候选长摘要，和/或从所述主题文档集的各篇文章分别提取其标题作为第一候选短摘要。

可选地，所述候选摘要评分步骤的处理包括：根据预设的句法分析算法分别对所述第一候选长摘要进行切词，并且根据所述切词的结果和预设的第一摘要评价指标计算所述第一候选长摘要的评分值，和/或根据预设的句法分析算法分别对所述第一候选短摘要进行切词，并且根据所述切词的结果和预设的第二摘要评价指标计算所述第一候选短摘要的评分值。

可选地，所述摘要确定步骤的处理包括：将所述评分值最高的第一候选长摘要作为所述主题文档集的长摘要，和/或将所述评分值最高的第一候选短摘要作为所述主题文档集的短摘要。

可选地，所述方法还包括：根据所述主题文档集的长摘要、短摘要和所述主题文档集中切出的分词的分布，分别计算所述主题文档集的分词的分布与所述长摘要中切出的分词的分布或所述短摘要中切出的分词的分布之间的相对熵；如果所述短摘要相对于所述主题文档集的分词的分布的相对熵低于预定的相对熵阈值，则将所述长摘要的各个语句分别作为所述第一候选短摘要，执行所述候选摘要评分步骤和所述摘要确定步骤，和/或如果所述长摘要相对于所述主题文档集的分词的分布的相对熵低于预定的第一相对熵阈值，且低于预定的第二相对熵阈值，则将所述短摘要作为所述主题文档集的长摘要，其中，所述第二相对熵阈值为所述短摘要相对于所述主题文档集的分词的分布的相对熵。

可选地，所述第一摘要评价指标和所述第二摘要评价指标包括摘要的分词重要性和信息冗余度。

可选地，所述第一摘要评价指标还包括所述第一候选长摘要的可读性和分词序列的平衡性，所述第二摘要评价指标还包括所述第一候选短摘要的可读性和长度折扣。

可选地，所述根据预设的句法分析算法分别对所述第一候选长摘要进行切词，并且根据所述切词的结果和预设的第一摘要评价指标计算所述第一候选长摘要的评分值的处理还包括：对任一第一候选长摘要，根据其所属文章的信息来源对为其计算的评分值进行加权，求得所述第一候选长摘要的加权评分值，所述将所述评分值最高的第一候选长摘要作为所述主题文档集的长摘要的处理包括：选取求得的加权评分值最高的第一候选长摘要作为所述主题文档集的长摘要。

为达到上述目的，本发明的实施例还提供了一种为主题文档集生成摘要的装置。所述装置包括：候选摘要选取模块，用于从主题文档集的各篇文章中选取一个和/或多个语句作为候选摘要；候选摘要评分模块，用于根据预设的句法分析算法分别对所述候选摘要进行切词，并基于切词结果对所述候选摘要进行评分；摘要确定模块，用于将所述评分所得的值最高的候选摘要作为所述主题文档集的摘要。