[发明专利]基于互信息和条件随机场模型的中文领域术语识别方法

权利要求书

1.一种基于互信息和条件随机场模型的中文领域术语识别方法，具体步骤如下：

（1）、收集领域文本语料，对语料中所有的标点符号、空格、数字、ASCII字符以及汉字以外字符进行标记；

（2）、设置字串                                                ，计算字串的互信息值；

（3）、计算字串左右信息熵；

（4）、定义字串评价函数，设置评价函数阈值，计算各字串的评价函数值，确定字串为词，依次比较该字串中前一字的评价函数值与后一字评价函数值相比较，得到各字串中对应的比值，其比值再与评价函数阈值比较，逐一对字义字串分词； 

（5）、以词、词性、词的出现频率的随机场的训练特征，利用条件随机场方法训练出一个领域术语条件随机场模型，用该模型对进行领域术语识别。

2.根据权利要求1所述的基于互信息和条件随机场模型的中文领域术语识别方法，其特征在于，上述步骤（2）中所述的设置字串，计算字串的互信息值，其计算公式如下：

假设一个领域术语是由n个字组成，如果字串为一个领域术语，那么字串由、、……个字组成，字串的互信息值计算公式如下：

            （1）

其中，表示一个由n个字组成的字串；

      表示组成字串的第i个字（i=1，2，3，…，n）； 

      表示语料库中字出现的频次；

      表示语料库中字出现的频次；

表示语料库中字出现的频次；

表示语料库中字出现的频次；

表示字、、、…、同时出现的频次；

表示字串中所有字与字之间的互信息。

3.根据权利要求1所述的基于互信息和条件随机场模型的中文领域术语识别方法，其特征在于，上述步骤（3）中所述的计算左右信息熵，其计算公式如下：

左信息熵计算公式为：     （2）

右信息熵计算公式为：      （3）

其中， 表示为给定的一个由n个字组成的字串；

       和分别表示出现在左侧和右则时的条件概率；

       和表示左边和右边所有出现的词集合；

      表示组成字串的第i个字，其中，i=1，2，3，…，n 。

4. 根据权利要求1所述的基于互信息和条件随机场模型的中文领域术语识别方法，其特征在于，上述步骤（4）中所述的定义字串W评价函数，并利用评价函数对语料进行分词，是指利用步骤（2）和步骤（3）计算得到的互信息和左右信息熵值，对语料中的字串为词的可信度进行评价，判断该字串是否为词，其中，字串W评价函数计算公式如下： 

                 （4）

其中， 表示为给定的一个由n个字组成的字串；

表示字串中字符之间的互信息值；

      表示字串的左信息熵值；

      表示字串的右信息熵值；

      为平衡因子，用以调节信息熵与互信息值在字串评价函数中的权值。

5.根据权利要求1所述的基于互信息和条件随机场模型的中文领域术语识别方法，其特征在于，上述步骤（5）中所述的以词、词性、词的出现频率的随机场的训练特征，利用条件随机场方法训练出一个领域术语条件随机场模型，利用该模型对进行领域术语识别，其操作步骤如下：

（51）、以词本身、词性、词的出现频率在语料中进行标注；

（52）、利用CRF++ 0.53工具包对已标注的特征序列训练，获取条件随机场参数，该条件随机场参数为该领域术语识别的条件随机场模型；

（53）、用领域术语识别的的条件随机场模型对测试已标注的特征序列的领域术语识别。