[发明专利]一种分词系统及方法

权利要求书

1.一种分词方法，其特征在于，包括如下步骤：

A、将待分词文本利用切分标记分割成字串；

B、对所述字串进行机械分词处理；

C、对机械分词结果中的连续单字进行地名识别。

2.如权利要求1所述的分词方法，其特征在于，所述步骤B具体包括：

将所述字串与机械分词词库进行匹配，将匹配成功的字串作为词输出，并将匹配失败的字串作为单字处理。

3.如权利要求2所述的分词方法，其特征在于，所述步骤C具体包括：

将机械分词结果中的连续单字与预先定义的地名模式库进行匹配，将匹配成功的连续单字作为地名输出，将匹配失败的连续单字继续作为单字处理。

4.如权利要求3所述的分词方法，其特征在于，步骤C之后还包括：

将地名识别中匹配成功的地名添加到机械分词词库中。

5.如权利要求1所述的分词方法，其特征在于：

所述切分标记包括显示切分标记和隐式切分标记，所述显示切分标记包括标点符号、数字、字母和ASCII字符，所述隐式切分标记包括出现频率高、构词能力差的单字词。

6.一种分词系统，其特征在于，包括：

预处理模块，用于将待分词文本利用切分标记分割成字串；

机械分词模块，用于对所述分割的字串进行机械分词处理；

地名识别模块，用于对所述机械分词处理得到的连续单字进行地名识别。

7.如权利要求6所述的分词系统，其特征在于，所述机械分词模块进一步用于：

将所述分割的字串与机械分词词库进行匹配，将匹配成功的字串作为词输出，并将匹配失败的字串作为单字处理。

8.如权利要求7所述的分词系统，其特征在于，所述地名识别模块进一步用于：

将所述机械分词处理得到的连续单字与预先定义的地名模式库进行匹配，将匹配成功的连续单字作为地名输出，将匹配失败的连续单字继续作为单字处理。

9.如权利要求8所述的分词系统，其特征在于，还包括：

地名模式库维护模块，用于维护地名识别模块使用的地命模式库信息；

词库维护模块，用于维护机械分词模块使用的机械分词词库信息。

10.如权利要求9所述的分词系统，其特征在于：

所述地名识别模块，进一步用于将匹配成功的地名发送到词典维护模块；

所述词库维护模块，进一步用于将所述匹配成功的地名信息增加到机械分词词库中去。

11.如权利要求6所述的分词系统，其特征在于：

所述切分标记包括显示切分标记和隐式切分标记，所述显示切分标记包括标点符号、数字、字母和ASCII字符，所述隐式切分标记包括出现频率高、构词能力差的单字词。