[发明专利]一种基于hash散列表词典结构的中文分词方法

权利要求书

1.一种基于hash散列表词典结构的中文分词方法，其特征在于：包括以下步骤：

A、对待处理文档进行预处理，将文本以每一句话为单位分为多个处理块，去掉文档中的标点、英文字母等非汉字信息，用分隔符“/”将其替代；

B、对每一个处理块分别进行正向最大匹配扫描切分和逆向最大匹配扫描切分；

C、对每一个处理块的两次扫描结果进行比较，如果两次扫描后的分词结果相同，则输出正向分词结果，如果结果不同，则分别计算正向最大扫描和逆向最大扫描结果的分词个数S、单字字典词数D、非词典词数N和最大词长L；

D、结合以下方法对C中产生的数据进行比较分析后输出正确结果，具体分析步骤如下：

D1、四组值完全相等时，选择逆向分词结果；

D2、S、L相等，其他不等时，选择N小的一方为正确结果；

D3、S相等，L不等时，选择D=N=0的一方为正确，如果没有则选择L大的一方；

D4、S、L都不等时，选择S小且L大的一方正确。

2.根据权利要求1所述的一种基于hash散列表词典结构的中文分词方法，其特征在于：所述的正向最大匹配扫描切分流程为：假设分词词典中最长词长度是n，每次从待切分串的开始处截取一个长度为n的字串s，让s同词典中的词条依次相匹配，如果某个词条与其完全匹配，则把s作为一个词从待切分串中切分出去，重复与词典中词条相匹配的过程，直到待切分字符串切分完为止，如果在词典中找不到与s匹配的词条，就从s的尾部减去一个字，用n-1长度的字符串继续与词典中词条匹配，如果匹配成功则切分出一个词，否则再从s尾部减去一个字，重复匹配过程，直到匹配成功。

3.根据权利要求1所述的一种基于hash散列表词典结构的中文分词方法，其特征在于：所述的逆向最大匹配扫描切分的流程为假设分词词典中最长词长度是n，每次从待切分串的末尾处截取一个长度为n的字串s，让s同词典中的词条依次相匹配，如果某个词条与其完全匹配，则把s作为一个词从待切分串中切分出去，重复与词典中词条相匹配的过程，直到待切分字符串切分完为止，如果在词典中找不到与s匹配的词条，就从s的头部减去一个字，用n-1长度的字符串继续与词典中词条匹配，如果匹配成功则切分出一个词，否则再从s头部减去一个字，重复匹配过程，直到匹配成功。