[发明专利]一种基于语义分析的文本关键信息提取方法及装置

说明书

本发明公开了一种基于语义分析的文本关键信息提取方法及装置，不限制搭配成词的原词语数目，用以发现文本中可表征明确含义的候选字符串，解决了词典依赖及只能提取词语的问题。相对于传统的权重计算方法，通过分析文本特点，发现上下文语义信息丰富度可以反映出字符串表达意图能力的强弱，因此，在字符串权重计算公式中加入外部丰富度影响因子，不仅考虑了字符串本身特点，也考虑了字符串外部上下文的环境，有效地补充了指标体系，提高了结果准确性。

技术领域

本公开涉及文本信息提取技术领域，具体涉及一种基于语义分析的文本关键信息提取方法及装置。

背景技术

目前，全球数据量以平均每年50％的增长率呈现爆炸式增长，每个人都置身于信息的海洋，面对如此大量的数据，如何准确、快速地定位真正想要的内容成为人们日益迫切的需求，文本关键信息提取技术应运而生。

传统的文本关键信息提取多为提取关键词，首先依据词典进行文本分词，然后利用TF-IDF方法计算词语权重，取排名靠前的若干个词作为关键词。

现有技术中的方法存在如下弊端：1)词语粒度过小，无法有效表征完整含义；2)强烈依赖于分词词典，而不同领域常用词千差万别，词典维护成本高，准确性及全面性均不能保证；3)权重计算仅从词语本身特点出发，只考虑了词频及文档频率，没有充分考虑词语所在的上下文环境。

发明内容

鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的基于语义分析的文本关键信息提取方法及装置。

根据本公开的一个方面，提供了一种基于语义分析的文本关键信息提取方法，其包括：

将待处理文本以字为单位进行分割，形成字串c₁，c₂，...，c_i，c_i+1，...，c_n，其中，c_i表征一个汉字，n为所述文本中汉字总数；

计算相邻的任意两个所述汉字c_i，c_i+1的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，则合并两个汉字为一个字符串；

直到无法对所述文本中相邻汉字进行合并为止，所述文本的划分结果为T：t₁，t₂，...，t_k，...，t_m，其中，t_k为字、词、短语或短句的字符串，m为所述文本中字、词、短语或短句的字符串的总数；

取所述t_k中长度大于1且不属于停止词的字、词、短语或短句的字符串，作为候选字符串，计算各个候选字符串的权重；

将所述权重大于第二预设阈值的若干个所述候选字符串作为所述文本的关键信息。

所述计算相邻的任意两个所述汉字c_i，c_i+1的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，则合并两个汉字为一个字符串，包括：

计算相邻的任意两个所述字、词、短语或短句的字符串的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足预设阈值，则合并两个字、词、短语或短句的字符串为一个字符串。

所述点间互信息、左邻信息熵和右邻信息熵根据如下公式计算：

点间互信息PMI，左邻信息熵LE，右邻信息熵RE，具体公式如下：