[发明专利]一种基于重复字串的微博新词非监督自动抽取方法

说明书

技术领域

本发明属于新词语检索方法技术领域，涉及一种基于重复字串的微博新词非监督自动抽取方法。

背景技术

新词识别是困扰中文自动分词领域的主要问题之一，而随着微博的发展，加速了新词的出现速度。新词的非监督自动识别对于其他自然语言处理任务至关重要。中文文本的自动切分是自然语言处理领域一项重要的基础工作。新词的识别和处理是制约中文分词系统精度进一步提高的困难之一。目前，新词抽取研究主要集中在实体名词的抽取，特别是人名、地名、机构名的抽取。其他新词在构成上基本没有普遍的规律，相关的研究较少，识别率也很低。新词抽取所使用的方法主要有基于统计和基于规则的方法。基于统计的方法容易实现，但受统计语料的影响非常明显；基于规则的方法准确率高，但对规则库完备性有很大的依赖性。

发明内容

本发明的目的在提供一种基于重复字串的微博新词非监督自动抽取方法，解决了现有的新词抽取准确率低，对规则库完备性依赖程度性高的问题。

本发明所采用的技术方案是先对待处理的微博文档进行文本切分，利用动态规划的分词方法切分文本，切分出待识别的字串，将待识别字串中切词碎片组合，组合成待识别的新词，然后根据统计选词模型从待识别的字串提取出候选新词，紧接着利用规则过滤模型对候选词进行过滤，最后得到最终的新词。

本发明的技术特点还在于动态规划的分词方法为：首先用最长次匹配法切分待处理文本，建立候选词路径有向图，然后计算图中每个节点的代价值，接着利用Dijkastra算法计算出最小代价路径，得到最佳切词路径。统计选词模型基于大量微博语料进行统计，包括基于局部重复字串的特征和基于全局用词信息的特征；基于局部重复字串的特征包括：字串共现次数和基于字串共现次数的互信息；基于全局用词信息的特征包括成词率、位置相关成词率、构词相似度；规则过滤模型包括停用词表、姓氏成词率的调整规则、量词词首停用的规则。

本发明的有益效果是有效的保证了较高的准确率，并不过分依赖规则字库，同时保证了新词的抽取速度。

附图说明

图1是本发明一种基于重复字串的微博新词非监督自动抽取方法的多字字串与二字词的互信息特征值比较图；

图2是本发明多字词和二字词的IWP特征比较图；

图3是本发明二字词和多字词的POS_IWP值比较图。

具体实施方式：

下面结合附图和具体实施方式对本发明进行详细说明。

先对待处理的微博文档进行文本切分，利用动态规划的分词方法切分文本，切分出待识别的字串，将待识别字串中切词碎片组合，组合成待识别的新词，动态规划的分词方法为：首先用最长次匹配法切分待处理文本，建立候选词路径有向图出自论文：【孙晓,黄德根.基于最长次长匹配分词的一体化中文分词与词性标注[J].大连理工大学学报.2010.,50(6):1028-1034.】,然后计算图中每个节点的代价值，接着利用Dijkastra算法计算出最小代价路径，得到最佳切词路径。例：设句子S=C₀C₁C₂……C_n,其中S代表句子，C_i（0≤i≤n）表示句子S中的第i个汉字，根据最长次匹配法将句子S所有可能的切分路径组成有向图DAG。令DAG=<V，E，Ψ>，其中，V={P_i|0≤i≤(m+1)}为节点P的集合，m为句子中字的个数；E={e_ij|i<j，0≤i≤m，1≤j≤m+1}为图中边e的集合，eij表示从节点P_i指向节点P_j的有向边；Ψ={e_ij=<P_i,P_j>}，表示边eij与节点P_i和P_j的关系。