[发明专利]一种文本分词方法及装置

权利要求书

1.一种文本分词方法，其特征在于，包括：

获取待处理文本；

根据字符串匹配的分词策略沿第一方向对所述待处理文本进行分词，得到第一分词结果；

根据所述字符串匹配的分词策略沿第二方向对所述待处理文本进行分词，得到第二分词结果；

若所述第一分词结果与所述第二分词结果一致，输出所述第一分词结果或所述第二分词结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一分词结果与所述第二分词结果不一致，通过动态规划算法对所述待处理文本进行分词，得到第三分词结果。

3.根据权利要求2所述的方法，其特征在于，所述通过动态规划算法对所述待处理文本进行分词，得到第三分词结果，包括：

对所述待处理文本进行拆分，得到多个单独的字符；

根据所述多个单独的字符中的相邻字符的关联性构建有向无环图；其中，所述有向无环图中包括多条路径，所述多条路径中的每条路径上包括词条以及所述词条对应的权重；

确定所述有向无环图中每条路径上的所有词条的权重和；

将所述权重和最小的路径上的词条确定为所述第三分词结果。

4.根据权利要求2所述的方法，其特征在于，所述第一分词结果为通过动态规划算法对所述待处理文本进行分词后，有向无环图中第一路径上的所有词条，所述第二分词结果为所述有向无环图中第二路径上的所有词条；

所述通过动态规划算法对所述待处理文本进行分词，得到第三分词结果，包括：

分别确定所述第一路径上的所有词条的权重和以及所述第二路径上的所有词条的权重和；

若所述第一路径上所有词条的权重和小于所述第二路径上所有词条的权重和，将所述第一分词结果确定为所述第三分词结果；

若否，将所述第二分词结果确定为所述第三分词结果。

5.根据权利要求1所述的方法，其特征在于，所述根据字符串匹配的分词策略沿第一方向对所述待处理文本进行分词，得到第一分词结果，包括：

根据所述第一方向确定所述待处理文本的首个字符；

将所述首个字符作为当前字，以匹配方式将所述当前字和与其相邻的M个字符组成的词条与预设的词典库中的词条进行匹配，以获取所述当前字开头的词条，得到所述第一分词结果；其中，M大于等于1且小于等于Q，所述Q为所述待处理文本的字符数量。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第二方向为所述第一方向的反方向。

7.一种文本分词装置，其特征在于，包括：

获取单元，用于获取待处理文本；

第一分词单元，用于根据字符串匹配的分词策略沿第一方向对所述待处理文本进行分词，得到第一分词结果；

第二分词单元，用于根据所述字符串匹配的分词策略沿第二方向对所述待处理文本进行分词，得到第二分词结果；

输出单元，用于在所述第一分词结果与所述第二分词结果一致时，输出所述第一分词结果或所述第二分词结果。

8.根据权利要求7所述的文本分词装置，其特征在于，所述文本分词装置还包括：

第三分词单元，用于在所述第一分词结果与所述第二分词结果不一致时，通过动态规划算法对所述待处理文本进行分词，得到第三分词结果。

9.一种终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持终端执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。