[发明专利]基于互信息和条件随机场模型的中文领域术语识别方法

说明书

技术领域

本发明涉及的是一种基于互信息和条件随机场模型的中文领域术语识别方法，属于信息技术领域。

背景技术

国家标准GB/T15237.1-2000《术语工作词汇》的定义，术语是特定专业领域中一般概念的词语指称，是在一个学科领域内使用、表示该学科领域内的概念或关系的词或词组。术语可以分为日常生活中使用的一般性术语和特定领域中使用的领域术语。一般性术语多是按人们的生活和工作习惯形成的，不要求它在概念的表达上严格准确，其含义往往比较模糊；领域术语是对一个专业概念的系统性、概括性的描述，不允许模棱两可，每一个专业术语表达的概念都必须准确无误，不能因使用人的不同而不同。

领域术语识别是指从特定的科学或技术领域的语料库中抽出专业领域术语。领域术语自动识别作为信息抽取的重要内容,在自然语言处理领域有着广泛的应用，对于提高领域文本索引与检索、文本挖掘、本体构建、文本分类和聚类、潜在语义分析等的处理精度有着重要的意义。现有的中文文本信息中的领域术语识别方法主要有：

（1）基于统计方法的中文领域术语识别方法，主要思想是利用领域术语内部各组成成分之间较高的关联程度以及术语的领域特征信息来抽取领域术语。基于统计的方法一般流程是: 首先利用统计学或信息论中的方法,建立起各种统计信息，并根据统计结果,确定比较准确的种子词；然后在此基础上不断扩展,获取最终的领域术语。词语频率、均值和方差是比较常用的统计方法,更多的学者使用假设检验的方法, 主要有T检验、卡方检验、对数似然比、点互信息等。用统计方法识别领域术语,不需要句法、语义上的信息,不局限于某一专门领域,也不依赖任何资源,通用性较强。

    其中，基于统计的互信息算法应用最为广泛。例如有文章报道，其题目为“基于互信息的中文术语抽取系统”（该文作者是：张锋 许云 侯艳 樊孝忠，发表于2005年出版的《计算机应用研究》第22卷第5期第72-73，77页），该文公开了一种中文术语自动抽取系统，该系统首先基于互信息计算字串的内部结合强度，从而得到术语候选集；接着从术语候选集中去除基本词，并利用普通词语搭配前缀、后缀信息进一步过滤；最后对术语候选进行词法分析，利用术语的词性构成规则进行判别，得到最终的术语抽取结果。实验结果表明，利用互信息算法对术语抽取的准确率为72.19％ ，召回率为77.98％ ，F测量值为74.97％。例如有文献报道，“C值和互信息相结合的术语抽取”（作者是：梁颖红 张文静 张有承，发表于2010年出版的《计算机应用与软件》第27卷第4期第108-110页），该文公开了一种将C值和互信息相结合的术语抽取方法，该方法提出综合C-value参数在长术语抽取方面具有优势，实验结果表明，该方法对长术语抽取的准确率为75.7％，召回率为68.4％，F测量值为71.9％，高于相同语料下的其他方法。但是该算法性能直接依赖于语料库的规模和候选领域术语的词频,针对有些低频率候选术语也可能是合法术语的数据稀疏问题难以解决，所以单纯利用互信息算法对领域术语进行识别，识别的准确率、召回率以及F测量值均难以达到80%以上，很难获得理想的识别效果；

（2）基于机器学习的中文领域术语识别方法的主要步骤为: 采用手工或半自动方式构建训练语料, 根据某种机器学习算法对训练语料学习生成模型,然后再利用模型对测试语料进行领域术语抽取实验,以验证本算法的有效性。目前已用于中文领域术语识别的机器学习理论主要包括决策树、支持向量机、隐马尔科夫模型、最大熵模型、最大熵马尔科夫模型和条件随机场算法等。基于机器学习的术语识别方法无需专家的领域知识和语言知识, 实现可行性大, 在考虑多种术语特征的情况下可以得到较好的识别或抽取效果。