[发明专利]一种新术语识别方法

说明书

本发明涉及一种新术语识别系统和方法，其系统包括对输入文本库RCorpus中的每篇文档进行分词，形成文本词序列模块A；对分词后的文本库TCorpus中的每篇文档词语序列进行新术语识别模块B；对识别的新术语进行验证模块C；其方法包括以下步骤：第一步：文本词序列模块A对输入文本库RCorpus中的每篇文本进行分词，形成文本词序列；第二步：新术语识别模块B对分词后的文本库TCorpus中的每篇文本词语序列进行新术语识别；第三步：验证模块C对识别的新术语进行验证；本发明提出了一种精度高、召回率高的新术语识别方法和系统。新术语的识别精度为93.8％。

技术领域

本发明涉及汉语自然语言处理、汉语新词语自动识别领域，特别是涉及一种新术语自动识别方法。

背景技术

伴随互联网的快速发展，各类新术语层出不穷，这个自然语言处理应用、自动应用软件(如分词系统)、词典收编工作灯带来很大的困难。

新术语识别的研究已经展开了多年。现存的方法有以下三类。第一基于统计的方法。例如，Kenneth Ward Church和Béatrice Daille等人使用互信息(MutualInformation)来抽取词语的固定组合和搭配，他们认为频繁共现的邻近字符组合一般都是术语，然后使用互信息判断词组的共现程度。又如，Ted Dunning和Jonathan D.Cohen等人采用用对数似然比(Log-Likelihood Ratio)来统计低频词语的识别问题，从理论和事实两方面论证了这种方法的有效性。统计方法还包括条件随机场方法、隐马尔科夫方法、最大熵方法等。第二是基于语言学特征和词法模式的方法。例如，刘磊、王石和田国刚采用多特征，结合词法和句法模式，获得新的专业术语。第三是前两种方法的集成应用，因而克服了各自的不足。

但是，经过详细的实验分析，上述方法存以下两个问题。

问题1：新术语识别精度问题。采用纯统计的方法，虽然能识别较多地新术语，但是通常会引入大量的错误；也即，不是新术语的汉字串，被误以为是新术语。例如，在语句“总部组织干部学习中央精神”中，采用统计方法时，很容易就将“总部组织干部”、“组织干部”、“干部学习”等误识为新术语，而本质上，它们均不是。另一方面，要确保新术语额度识别精度很高，识别广度又受到限制。这是本发明需要解决的关键问题之一。

问题2：新术语识别广度问题。由于词语的组合情况很多，因此新术语自动识别很容易遗漏掉新有意义的术语。因此，如何提高识别广度是一个重要的问题。这也是本发明需要解决的关键问题之一。

发明内容

本发明所要解决的技术问题：新术语识别精度问题、识别广度问题。

针对问题1，本发明引入了种子术语词典技术，不仅利用种子词典进行新术语的识别，同时也用它来验证新获得的新术语。

针对问题2，本发明引入了多源迭代式新术语识别技术。首先，采用多源分析方法，根据多个文本进行比照验证，提升新术语的识别精度；同时将获得的新术语加入到种子术语词典中，不断地循环使用，从而获得更多的新术语。

为了实现上述目的，本发明提供了如下技术方案：

一种新术语识别方法，其特征在于：包括以下步骤：

第一步：文本词序列模块A对输入文本库RCorpus中的每篇文本进行分词，形成文本词序列；

我们采用一个开源的ICTCLAS系统对RCorpus中的每篇输入文本D进行分词，分词结果为T′＝W₁/pos₁ W₂/pos₂ … W_i/pos_i … W_n/pos_n，其中每个W_i是一个汉语词、汉字、标点符号、阿拉伯数字、英文单词或字母，pos_i是其对应的词性；