[发明专利]一种基于语义分析的文本关键信息提取方法及装置

权利要求书

1.一种基于语义分析的文本关键信息提取方法，其特征在于，包括：

将待处理文本以汉字为单位进行分割，形成字串c₁，c₂，...，c_i，c_i+1，...，c_n，其中，c_i表征一个汉字，n为所述文本中汉字总数；

计算相邻的任意两个所述汉字c_i，c_i+1的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，则合并两个汉字为一个字符串；

直到无法对所述文本中相邻汉字进行合并为止，所述文本的划分结果为T：t₁，t₂，...，t_k，...，t_m，其中，t_k为字、词、短语或短句的字符串，m为所述文本中字、词、短语或短句的字符串的总数；

取所述t_k中长度大于1且不属于停止词的字、词、短语或短句的字符串，作为候选字符串，计算各个候选字符串的权重；

将所述权重大于第二预设阈值的若干个所述候选字符串作为所述文本的关键信息；

所述计算各个候选字符串权重，包括：

针对文本划分结果T：t₁，t₂，...，t_k，...，t_m，取长度大于2且出现频率大于设定值f的字符串作为候选字符串；

计算候选字符串t_k的外部丰富度ec(t_k)，公式如下：

其中，w_i为第i个句子的字符串总数，C为将所有句子中相同字符串进行合并后，得到的互不相同的字符串类型数；

统计计算t_k的出现频次tf和逆文档频率idf；

计算候选字符串t_k的权重weigth(t_k)，公式如下：

其中：D为文本集合中的文本总数，D_w为包含t_k的文本数。

2.如权利要求1所述的方法，其特征在于，所述计算相邻的任意两个所述汉字c_i，c_i+1的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，则合并两个汉字为一个字符串，包括：

计算相邻的任意两个所述字、词、短语或短句的字符串的点间互信息、左邻信息熵和右邻信息熵；若所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，则合并两个字、词、短语或短句的字符串为一个字符串。

3.如权利要求1或2所述的方法，其特征在于，所述点间互信息、左邻信息熵和右邻信息熵根据如下公式计算：

点间互信息PMI，左邻信息熵LE，右邻信息熵RE，具体公式如下：

其中，P(c_i，c_i+1)为c_i，c_i+1共同出现的概率，P(c_i)为c_i出现的概率，L为c_i，c_i+1左邻元素的集合，R为c_i，c_i+1右邻元素的集合。

4.如权利要求1所述的方法，其特征在于，所述点间互信息、左邻信息熵和右邻信息熵均满足第一预设阈值，包括：

设置预设阈值ε₁，ε₂，当PMI＞ε₁且min(LE，RE)＞ε₂时，即合并两个汉字c_i，c_i+1为一个字符串；所述PMI为点间互信息，LE为左邻信息熵，RE为右邻信息熵。