[发明专利]文本关键信息的提取方法、装置及介质

说明书

本发明实施例公开一种文本关键信息的提取方法、装置及介质。该提取方法包括：获取待提取文本，所述待提取文本包括标题和正文；生成第一列表，其中，所述第一列表中包括至少一个候选关键单元，所述候选关键单元为利用正文中的组成单元的相似度权重，从正文中抽取出的组成单元；从正文中选取出标题相似单元，其中，所述标题相似单元为与标题相似度最高的组成单元；如果标题相似单元与任一个候选关键单元都不同，则将标题相似单元添加到第一列表中；利用第一列表生成关键信息。利用该提取方法，可以避免提取出的关键信息发生遗漏的情况，提高了提取出的关键信息的准确率，同时提取出的关键信息相对更加精简、全面。

技术领域

本发明涉及信息抽取与文本挖掘领域，具体涉及一种文本关键信息的提取方法、装置及介质。

背景技术

随着信息技术的不断发展，海量的数据成为最具价值的财富。如何快速、精准地掌握信息，并准确做出合理的决策，成为企业生存与发展的必经之路。这就要求从海量的文本中挖掘出有效的关键信息，例如文本摘要、关键词等。

很多文本，例如网络上的新闻文本等，都是非结构化的文本。要从这些非结构化的文本中挖掘出有效的、结构化的关键信息，可以采用TextRank算法。TextRank算法是一种用于文本的基于图的排序算法。其基本思想是通过把文本分割成若干组成单元(例如句子)并建立图模型,利用投票机制对文本中的每一个组成单元进行排序，然后利用排序靠前的部分组成单元，组合形成关键信息(例如文本摘要)。这样，仅利用单篇文档本身的信息即可实现文本关键信息的提取。

采用TextRank算法来从文本中提取出关键信息的方法，由于TextRank算法本身的局限性，提取出的关键信息容易出现相似度高或重复的内容。例如，采用TextRank算法从一个包括100个句子的文本A中提取出5个句子，组成文本A的文本摘要，但是该文本摘要中可能存在3个相似度很高的句子，这3个句子所表达出的语义信息是很相似的，导致该文本摘要不够精简。

发明内容

本申请提供一种、装置及介质，以使提取出的关键信息更加精简、准确、全面。

第一方面，本申请提供一种文本关键信息的提取方法，包括：

获取待提取文本，所述待提取文本包括标题和正文；

生成第一列表，其中，所述第一列表中包括至少一个候选关键单元，所述候选关键单元为利用所述正文中的组成单元的相似度权重，从所述正文中抽取出的组成单元；

从所述正文中选取出标题相似单元，其中，所述标题相似单元为与所述标题相似度最高的组成单元；

如果所述标题相似单元与任一个候选关键单元都不同，则将所述标题相似单元添加到所述第一列表中；

利用所述第一列表生成关键信息。

结合第一方面，在第一方面第一种可能的实现方式中，生成第一列表的步骤，包括：

分别计算未存在于第一列表中的每一个组成单元各自对应的MMR得分；

将MMR得分最高的组成单元确定为一个候选关键单元，添加到第一列表中；

迭代执行计算组成单元对应的MMR得分和确定候选关键单元的步骤，直到第一列表中的候选关键单元达到预设的数量。

结合第一方面及上述可能的实现方式，在第一方面第二种可能的实现方式中，利用所述第一列表生成关键信息的步骤，包括：

从所述第一列表中的选取n个关键单元，其中，所述n个关键单元中包括所述标题相似单元，以及(n-1)个相似度权重最大的候选关键单元，n为大于或等于2的整数；

按照所述n个关键单元在所述正文中位置组合所述n个关键单元，得到关键信息。