[发明专利]一种字符串分词方法、装置、终端设备及存储介质

说明书

本发明公开了一种字符串分词方法、装置、终端设备及存储介质，所述方法包括：获取待处理的汉字字符串；对汉字字符串进行单个字切分，得到n个单个字a_i，将a_i与相邻单个字a_i+1进行组合，得到临时词a_ia_i+1；若临时词a_ia_i+1在预设的常用词词库中存在，则将临时词a_ia_i+1与相邻单个字a_i+2进行组合，得到临时词a_ia_i+1a_i+2，并使用临时词a_ia_i+1a_i+2继续在所述常用词词库中进行查找，直到临时词a_ia_i+1a_i+2...a_k在常用词词库中不存在为止；将a_ia_i+1a_i+2...a_k‑1识别为有效词，并从单个字a_k开始，继续与相邻单个字组合查找。本发明的技术方案无需设置初始词长，避免了常用词被错误分开，提高字符串分词的准确性，并且，实现方式更加简便易行，执行效率更高，从而有效提高字符串分词的通用性和分词效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种字符串分词方法、装置、终端设备及存储介质。

背景技术

目前，传统的字符串分词方法通常采用正向最大匹配算法，该算法首先需要设置一个最大词长，然后对待识别的字符串从左向右按照该最大词长进行扫描，并将最大词长的字符串与词典中的词进行匹配，如果没有匹配上，就缩短长度继续寻找，直到找到或者成为单字为止。

但是，最大词长的大小会影响字符串分词的准确性和分词效率，若最大词长过短，长词就会被错误分开，影响分词的准确性，若词长过长，匹配次数明显增加，影响执行效率。在实际使用过程中，为了达到满意的分词结果，往往还需要对最大词长进行反复多次的动态调整，导致分词效率较低。

发明内容

本发明实施例提供一种字符串分词方法、装置、终端设备及存储介质，以解决现有技术中字符串分词的准确性和分词效率较低的问题。

第一方面，本发明实施例提供一种字符串分词方法，包括：

获取待处理的汉字字符串；

对所述汉字字符串进行单个字切分，得到n个单个字a_i，其中，i∈[1,n]，n为所述汉字字符串中包含的汉字字符的个数；

若i小于n，则将a_i与相邻单个字a_i+1进行组合，得到临时词a_ia_i+1；

若所述临时词a_ia_i+1在预设的常用词词库中存在，则将所述临时词a_ia_i+1与相邻单个字a_i+2进行组合，得到临时词a_ia_i+1a_i+2，并使用所述临时词a_ia_i+1a_i+2继续在所述常用词词库中进行查找，直到临时词a_ia_i+1a_i+2...a_k在所述常用词词库中不存在为止，其中，k∈[i+1,n]；