[发明专利]一种文本信息分词处理的方法、装置、终端及存储介质

说明书

本公开是关于一种文本信息分词处理的方法、装置、终端及存储介质，所述方法包括：获取文本信息以及配置信息，其中，所述配置信息包括至少两条第一分词规则；按照预定规则，将所述第一分词规则转换成第二分词规则；当利用任意两条所述第二分词规则匹配到的文本信息的字符串存在交集时，确定存在交集的任意两条所述第二分词规则对应的两条所述第一分词规则存在冲突；按照所述配置信息处理所述文本信息，输出所述文本信息的分词结果。由于通过了将所述第一分词规则转换成第二分词规则，使得第二分词规则可以成为一个确定性的规则，从而可以通过这些确定的分词规则，快速和准确地排查出配置信息中存在冲突的分词规则。

技术领域

本公开涉及计算机技术领域，尤其涉及文本信息分词处理的方法、装置、终端及存储介质。

背景技术

在文本信息中，针对分词的配置信息中有时会出现利用所述配置信息中的一些分词规则与另一些分词规则之间存在冲突的现象。也就是说，利用两条互相冲突的分词规则对文本信息中的同一输入语句所得到的最终的分词结果却不相同。相关技术中，无法准确地排查出这些发生冲突的分词规则，导致在使用上述配置信息执行分词时，出现分词不准确等问题。

发明内容

根据本公开实施例的第一方面，提供一种文本信息分词处理的方法，包括：

获取文本信息以及配置信息，其中，所述配置信息包括至少两条第一分词规则；

按照预定规则，将所述第一分词规则转换成第二分词规则；

当利用任意两条所述第二分词规则匹配到的文本信息的字符串存在交集时，确定存在交集的任意两条所述第二分词规则对应的两条所述第一分词规则存在冲突；

按照所述配置信息处理所述文本信息，输出所述文本信息的分词结果。

可选地，第一集合包含所述至少两个第一分词规则所包含的替换条件；所述替换条件为将原词替换成目标词的条件；

所述将所述第一分词规则转换成第二分词规则，包括：

若所述第一分词规则包含的第一条件为开放式条件，则根据所述第一集合得到第二集合，其中，所述第二集合包含的第二条件为：所述第一集合中除所述第一条件以外的所述替换条件；所述替换条件为：将原词替换成目标词的条件；

基于所述第二条件与所述第一分词规则所包含的原词和目标词，构成所述第二分词规则。

可选地，所述若所述第一分词规则包含的第一条件为开放式条件，则根据所述第一集合得到第二集合，包括：

若所述第一分词规则包含的所述第一条件为所述开放式条件，则基于所述配置信息中包含有封闭式条件的所述第一分词规则中所述封闭式条件所限定的词条，确定所述第二集合包含的所述第二条件；根据所述第二集合包含的所述第二条件，得到所述第二集合。

可选地，所述开放式条件包括：含有否定含义的否定字段；

所述含有否定含义的否定字段包括以下至少之一：

位于所述第一分词规则中待匹配的原词之前的第一类否定字段；

位于所述第一分词规则中待匹配的原词之后的第二类否定字段；

所述封闭式条件包括：含有肯定含义的肯定字段；

所述若所述第一分词规则含有开放式条件，则基于所述配置信息中包含有封闭式条件的所述第一分词规则中所述封闭式条件所限定的词条，确定所述第二集合包含的所述第二条件，包括以下至少之一：

若所述第一分词规则包含有所述第一类否定字段，则基于所述配置信息中包含有第一类肯定字段的所述第一分词规则的所述第一类肯定字段所连接的词条，确定所述第二集合包含的所述第二条件；其中，所述第一类否定字段和所述第一类肯定字段，互为在所述第一分词规则中位置相同但不同含义的字段；