[发明专利]一种中文分词系统

权利要求书

1.一种中文分词系统，其特征在于，所述系统包括：

文本获取模块，用于获得文本文件数据；

文本预处理模块：用于对文本文件数据进行预处理，获得待分词文本数据；

分词模块：用于基于词典对待分词文本数据进行分词处理，获得文本数据分词结果；

新词发现模块：用于对文本数据分词结果进行互信息计算，基于互信息计算结果识别新词，并将识别的新词存入分词模块的分词词典中。

2.根据权利要求1所述的中文分词系统，其特征在于，新词发现模块用于对待分词文本数据进行统计，得到每个字的字频以及每个字串的频率；基于每个字的字频以及每个字串的频率，计算字、字串在待分词文本数据中出现的概率，将概率值带入互信息计算公式中，得到每个字串的PMI值，根据PMI值将大于0的字串作为新词加入到分词词典中。

3.根据权利要求1所述的中文分词系统，其特征在于，互信息计算公式如公式(1)所示：

其中，PMI(AB)为字串AB的相关度，AB表示n个字，n大于或等于2，P(A)代表字或词A在待分词文本数据中出现的概率，P(B)代表字或词B在待分词文本数据中出现的概率，P(AB)代表词AB在待分词文本数据中出现的概率。

4.根据权利要求1所述的中文分词系统，其特征在于，新词发现模块中基于互信息的新词发现步骤包括：

步骤a：假设文本数据分词结果为c，字串的长度为i，最大字串的长度为k；

步骤b：利用文本数据分词结果c预处理后形成汉字组成语句片段集合t；将新词集合w₁置空，并令字串的长度i＝2；

步骤c：判断字串长度i和最大字串的长度k的关系，若i＝k，则执行步骤c₁，反之，则执行步骤d：

步骤c₁：对语句片段集合t进行单字、字串统计，包括：单字总个数s₁、i字字串总个数s_i、各单字出现的频数N[1…s₁]和各i字字串出现的频数DN[1…s_i]，计算各单字出现的概率P(A)[1…s₁]，以及各i字字串出现的概率P(AB)[1…s_i]；

步骤c₂：对i字字串进行所有可能的二切分，切分的前一部分和后一部分均当作单字处理，将统计量带入互信息计算公式，计算各i字字串在所有可能切分情况下的PMI[1…s_i][m]值，其中m为i字字串二切分的数目；

步骤c₃：将PMI值大于0的i字字串加入新词集合w₁中；

步骤c₄：字串长度i的值加1；

步骤c₅：判断字串长度i和最大字串的长度k的关系，若i＝k,则执行步骤c₁，反之，执行步骤d；

步骤d：返回新词集合w₁。

5.根据权利要求1所述的中文分词系统，其特征在于，分词词典包括4个部分：词语首字hash表、词长索引表、词语次字hash表和词语剩余字串组；词语首字hash表用于确定词语首字的具体位置，词长索引表用于索引存放对应首字相应词长的每一个字串；词语次字hash表用于确定词语次字的具体位置；词语剩余字串组用于存放词语以首字hash表的关键字和次字hash表的关键字组合开头剩余字串的数组。

6.根据权利要求5所述的中文分词系统，其特征在于，分词词典采用多层hash词典构造机制，分词词典中的每一个词语首字设计为第一层的hash结构，第一层存储以该字为首字的所有词语的最大词长，分词词典中第二层是每个词长所对应的词语，并指向第三层存储的词语第二个字的hash值，分词词典中第四层用于完成对整个词语的搜索。