[发明专利]一种融入句子间关联关系的文本关键短语提取方法、存储介质及装置

说明书

本发明属于自然语言处理领域，具体涉及一种融入句子间关联关系的文本关键短语提取方法、存储介质及装置，包括：采用词性组合方式提取名词性短语；结合两个Trie树对名词性短语进行过滤，得到候选短语集；计算候选短语的全局语义相似度得分；对各个句子进行聚类，得到包含不同语义信息的句子簇；根据候选短语的全局语义相似度得分，对句子簇中的候选短语排序得到关键短语集；本发明在基于嵌入的无监督关键短语提取模型中融入句子间关系，提高了模型的准确率，同时构建不同的Trie树来计算互信息与左右信息熵的方式来作为关键短语提取模型中的候选短语提取方法，降低了提取到的候选短语集中的出现语义信息不完整的短语出现的概率。

技术领域

本发明属于自然语言处理领域，具体涉及一种融入句子间关联关系的文本关键短语提取方法、存储介质及装置。

背景技术

上市公司每年都会在各种金融网站上发布大量的定期报告，这些网站有同花顺、深圳证券交易所、上海证券交易所、东方财富等，极大地方便人们对公司信息的获取。投资者可以将收集到的信息用于投资、炒股等一些经济活动。金融公司可以利用这些信息进行数据分析，整理成各种的条形图、折线图，再加工展示给广大网友面前。因为定期报告中的篇幅很长，金融类名词性信息多，且文本中包含了大量非结构性数据，所以信息多的同时也增加了人们的阅读难度。关键短语是文本信息的精简概括，能够代表文本的主题和核心观点，相比于长文本而言有着简洁、高效、重点突出、易理解等特点，且高质量的关键短语有利于读者快速地理解文章内容。因此本发明采用关键短语提取技术来提取定期报告中MDA章节中的主旨信息，因为这样可用于辅助用户增强对定期报告的理解，甚至可替代原始定期报告，提升用户工作效率。

自动关键短语提取是一种可以从文章中自动抽取重要信息和主题词的技术。当前无监督关键短语提取模型分为基于统计的模型、基于图的模型以及基于嵌入的模型。基于统计的模型主要通过统计候选短语的频率、词性等特征，来判断是否是关键短语；基于图的模型采用词与词之间的相邻关系来进行判断；基于嵌入的模型采用预训练语言模型来引入外部信息以及语义信息，获得词向量编码，最后获得关键短语。目前基于嵌入的无监督关键短语方法的准确度更高。

虽然当前基于嵌入的无监督关键短语方法的表现优于传统方法，但它们只计算了候选短语与文档之间语义相关性，并没有捕捉不同类型的上下文与候选短语之间的联系，所以可能存在一篇文档中有不同语义信息的句子，而这些表达信息不同的句子中也可能存在关键短语，但这些短语并没有被模型提取到的现象。且当前基于嵌入的无监督关键短语提取模型中候选短语提取采用的是语法模板的方式，若用于定期报告中，会提取出多个连续的名词类词语构成的词串，而这些词串会包含多个独立语义信息的词语。而现有的采用词性组合以及互信息和左右信息熵的方式来得到名词性短语的方式，可以避免这个问题，主要有两类：其一是针对分词工具存在错误分词的现象，利用这两种方式先找到文档中存在的新词，然后加入到分词库中，从而避免被分词工具错误分开；其二是在利用词性组合的方式得到候选短语后，计算互信息和左右信息熵的值作为后续关键短语得分的一部分。第一种方式不适用于基于嵌入的无监督关键短语提取模型，因为模型在提取关键短语前需要得到一个候选短语集，而第二种方式，需要对计算互信息和左右信息熵的过程进行优化，使其提取的准确性更高。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种融入句子间关联关系的文本关键短语提取方法，该方法包括：

S1、获取待处理的文本数据，采用词性组合方式提取出文本中的名词性短语；

S2、构建两个不同的Trie树；

S3、根据两个不同的Trie树对名词性短语进行过滤，去除名词性短语中语义信息表达不完整的短语，得到候选短语集；

S4、参考了SIF模型得到候选短语与文档的词向量表示，进而计算出语义相似度得分，将其作为候选短语的全局语义得分；

S5、利用WRD算法，计算句子间的相似度，并采用AP聚类算法对各个句子进行聚类，得到包含不同语义信息的句子簇；