[发明专利]一种语句分词方法和系统

权利要求书

1.一种语句分词方法，其特征在于，包括如下步骤：

步骤S1：录入目标语句；

步骤S2：由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；

步骤S3：将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，如果未设置断点则将该目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配，如果设置了断点则对目标字段执行步骤S4；

步骤S4：根据断点拆分目标字段，并将断点之前的字符以及未判断的目标语句合并作为新的目标语句返回执行步骤S1重复执行，直至将整个目标语句全部分词完成，得到目标语句的分词结果。

2.根据权利要求1所述一种语句分词方法，其特征在于，步骤S1前还包括对目标语句进行非空语句的判断，如果该目标语句是空语句则直接输出空串，如果该目标语句是非空语句则执行步骤S1。

3.根据权利要求1所述一种语句分词方法，其特征在于，所述步骤S3具体包括：

步骤S301：将目标字段与预存在数据库中的标准字段进行匹配，如果匹配成功则不设置断点执行步骤S302，否则执行步骤S303；

步骤S302：对匹配成功的目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配；

步骤S303：判断目标字段中首字符之后的字符个数是否大于1，如果大于，则执行步骤S304；否则执行步骤S305；

步骤S304：根据前一次匹配结果判断是否设置断点，如果匹配结果为成功，则在本次匹配的字段中最前面的一个字符之后设置断点，执行步骤S4进行拆分；否则执行步骤S305；

步骤S305：将本次目标字段滤除，并返回步骤S2提取下一个字段。

4.根据权利要求1-3任一项所述一种语句分词方法，其特征在于，所述步骤S2中，设目标语句为S，S＝A_a,A_b,A_c...A_i,A_j,A_k，其中A_a,A_b,A_c...A_i,A_j,A_k表示为各个单字符，以逐字递增的方式对目标语句S中的字符进行提取为:首次提取得到字符A_k，第二次提取得到字符A_jA_k，第三次提取得到字符A_i,A_j,A_k,依次对目标语句进行提取。

5.根据权利要求1-3任一项所述一种语句分词方法，其特征在于，所述步骤S4中还包括将断点之后的字符滤除的步骤。

6.一种语句分词系统，其特征在于，包括：

录入模块，用于录入目标语句；

提取模块，用于由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；

处理模块，用于将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，将未设置断点的目标字段发送保存模块保存，并对提取的下一目标字段进行匹配，将设置了断点的目标字段发送拆分模块；

拆分模块，用于根据断点拆分目标字段，并将断点之前的字符以及未判断的目标语句合并作为新的目标语句发送至录入模块中重复执行下一次判断，直至将整个目标语句全部分词完成，得到目标语句的分词结果；

保存模块，用于保存目标语句的分词结果。

7.根据权利要求6所述一种语句分词系统，其特征在于，还包括预处理模块，所述预处理模块用于对目标语句进行非空语句的判断，如果该目标语句是空语句则直接输出空串，如果该目标语句是非空语句，则将该目标语句发送录入模块中。