[发明专利]一种用于提取案例信息的多元新词的方法及系统

说明书

本发明公开了一种用于提取案例信息的多元新词的方法及系统，属于电力设备技术领域。本发明方法，包括：获取文本信息和表格数据，根据文本信息和表格数据的表单结构解析并识别出表单结构中数据的属性名称文本，将表单结构中数据的属性名称文本加入新词生成案例文本；对案例文本进行分词处理，对进行分词后的案例文本构建前缀树，将常用词和分词后的案例文本加入树节点；确定相邻树节点构成多元新词，并对多元新词进行提取。本发明根据互信息和邻接熵相结合获取多元新词相对稳定，程序简单，易于实现。

技术领域

本发明涉及电力设备技术领域，并且更具体地，涉及一种用于提取案例信息的多元新词的方法及系统。

背景技术

结合案例信息的多词新词发现，既可以提取出更加准确易懂的关键词，有助于对文本内容的理解，又可以形成新的词库信息，提高故障库录入效率，因此，具有非常广阔的发展前景。目前，新词发现主要有两种思路：第一，基于构词法(语言规则，需要对特定语言语法规则的理解)的新词发现；第二，基于统计模型(基于字符排列的统计分析和基于词排列的统计分析)的新词发现。基于构词法的方法一般通过语言专家根据构词学原理、配合语义信息或词性信息来构造模板，然后匹配新词，这种方法准确率高，针对性强，但规则一般都是领域相关的，而且手工编写和维护规则复杂性相对较高，目前不常直接使用规则，更多的是作为一个附加模块与其他方法相结合，如在候选词过滤中，作为垃圾串的过滤模块使用。基于统计的新词识别分为监督方法和非监督方法两种，监督方法利用标注语料，将新词识别问题看作分类或者序列标注问题，但是在实际应用中，高质量的标注语料很难得到，手动标记语料费时费力；无监督方法没有大规模标注语料，一般利用候选字符串的统计信息，设定阈值进行判别。

发明内容

针对上述问题本发明提出了一种用于提取案例信息的多元新词的方法，包括：

对故障案例库中的案例信息进行读取，对案例信息进行解析，获取文本信息和表格数据，根据文本信息和表格数据的表单结构解析并识别出表单结构中数据的属性名称文本，将表单结构中数据的属性名称文本加入新词生成案例文本；

对案例文本进行分词处理，对进行分词后的案例文本构建前缀树，将常用词和分词后的案例文本加入树节点；

确定相邻树节点的互信息的相关性，并确定互信息的相关性是否大于或等于预设值，当互信息的相关性大于或等于预设值时，获取相邻树节点的左右熵，若左右熵满足预设要求，确定相邻树节点构成多元新词，并对多元新词进行提取。

可选的，文本信息和表格数据为案例信息的故障描述、故障原因分析、故障试验分析和故障初步处理方案。

可选的，分词处理使用自然语义处理库进行处理。

可选的，互信息的相关性确定，具体如下：

定义相邻树节点的为单词向量X和Y，如果(X,Y)～p(x,y)，X和Y之间的互信息I(X；Y)公式如下：

其中，x和y分别为单词向量X和Y单词向量中的单词，P(x)和P(y)为单词x和y出现的概率和P(x,y)为x和y同时出现的概率。

可选的，左右熵的公式分别如下：

其中，E_L(x)为单词x的左熵、a_x为单词x带有左边词的单词、A为左边词集合、E_R(x)为单词x的右熵、x_b为单词x带有右边词的单词、B为右边词集合、p(x_a)为带有左边词的单词的概率、p(x_b)为带有右边词的单词的概率p(x_a|a)为带有左边词的单词的概率的条件概率和p(x_b|b)为带有右边词的单词的概率的条件概率。

本发明还提出了一种用于提取案例信息的多元新词的系统，包括：