[发明专利]利用分词过程中识别的新词改善分词性能的方法

权利要求书

1.一种利用分词过程中识别的新词改善分词性能的方法；其特征在于，包括：分词数据库的训练步骤和利用分词数据库进行分词的步骤，

所述分词数据库的训练步骤包括以下步骤：

步骤1：从待切分文本中获取基本特征；

步骤2：利用新词词表，获取新词特征，其中，所述新词词表包括：新词词表从训练语料中直接获取，和在分词过程中，建立动态新词词表，分词系统识别出新词后将该新词加入到新词词表中，所述新词特征通过新词词表与待分词的原始文本进行匹配得到；

步骤3：利用训练得到的分词数据库进行分词，如果分词结果中有新词，将该新词加入到新词词表中，其中，新词词表作为分词知识源是通过新词特征来实现的；

所述利用分词数据库进行分词的步骤包括以下步骤：

步骤1：抽取分词的文本的基本特征，包括抽取一个或多个窗口的字特征；

步骤2：抽取分词的文本的新词特征；

步骤3：对抽取的特征进行训练，得到分词用的数据库。

2.如权利要求1所述的利用分词过程中识别的新词改善分词性能的方法，其特征在于，新词特征通过新词词表与待分词的基本特征进行匹配，如果某些文字被成功匹配，这些文字就被赋以如下特征：

该文字是成功匹配的新词的首字；或，

该文字是成功匹配的新词的中间字；或，

该文字是成功匹配的新词的尾字；或，

其他没有被匹配成功的文字。