[发明专利]一种文本信息分词处理的方法、装置、终端及存储介质

权利要求书

1.一种文本信息分词处理的方法，其特征在于，包括：

获取文本信息以及配置信息，其中，所述配置信息包括至少两条第一分词规则；

按照预定规则，将所述第一分词规则转换成第二分词规则，包括：

若所述第一分词规则包含的第一条件为开放式条件，则根据第一集合得到第二集合；基于第二条件与所述第一分词规则所包含的原词和目标词，构成所述第二分词规则，其中，所述第一集合包含所述至少两条第一分词规则所包含的替换条件，所述第二集合包含的第二条件为：所述第一集合中除所述第一条件以外的所述替换条件；

若所述第一分词规则包含的所述第一条件为封闭式条件，则确定所述第一分词规则自身为所述第二分词规则；

当利用任意两条所述第二分词规则匹配到的文本信息的字符串存在交集时，确定存在交集的任意两条所述第二分词规则对应的两条所述第一分词规则存在冲突；所述存在交集为存在相对原词相邻位置的字词相同；

按照所述配置信息处理所述文本信息，输出所述文本信息的分词结果。

2.根据权利要求1所述的方法，其特征在于，所述替换条件为：将原词替换成目标词的条件。

3.根据权利要求2所述的方法，其特征在于，所述若所述第一分词规则包含的第一条件为开放式条件，则根据所述第一集合得到第二集合，包括：

若所述第一分词规则包含的所述第一条件为所述开放式条件，则基于所述配置信息中包含有封闭式条件的所述第一分词规则中所述封闭式条件所限定的词条，确定所述第二集合包含的所述第二条件；根据所述第二集合包含的所述第二条件，得到所述第二集合。

4.根据权利要求3所述的方法，其特征在于，所述开放式条件包括：含有否定含义的否定字段；

所述含有否定含义的否定字段包括以下至少之一：

位于所述第一分词规则中待匹配的原词之前的第一类否定字段；

位于所述第一分词规则中待匹配的原词之后的第二类否定字段；

所述封闭式条件包括：含有肯定含义的肯定字段；

所述若所述第一分词规则含有开放式条件，则基于所述配置信息中包含有封闭式条件的所述第一分词规则中所述封闭式条件所限定的词条，确定所述第二集合包含的所述第二条件，包括以下至少之一：

若所述第一分词规则包含有所述第一类否定字段，则基于所述配置信息中包含有第一类肯定字段的所述第一分词规则的所述第一类肯定字段所连接的词条，确定所述第二集合包含的所述第二条件；其中，所述第一类否定字段和所述第一类肯定字段，互为在所述第一分词规则中位置相同但不同含义的字段；

若所述第一分词规则包含有所述第二类否定字段，则基于所述配置信息中包含有第二类肯定字段的所述第一分词规则的所述第二类肯定字段所连接的词条，确定所述第二集合包含的所述第二条件；其中，所述第二类否定字段和所述第二类肯定字段，互为在所述第一分词规则中位置相同但不同含义的字段；且所述第二类否定字段与所述第一类否定字段在所述第一分词规则中位置不同。

5.根据权利要求1所述的方法，其特征在于，所述当利用任意两条所述第二分词规则匹配到的字符串存在交集时，确定存在交集的任意两条所述第二分词规则对应的两条所述第一分词规则存在冲突，包括：

将每一条所述第二分词规则转换成规则集合；

根据所述规则集合，确定每一条所述第二分词规则所匹配的字符串；

当任意两条所述第二分词规则所匹配的字符串存在交集时，确定存在交集的任意两条所述第二分词规则对应的两条所述第一分词规则存在冲突。

6.根据权利要求5所述的方法，其特征在于，所述将每一条所述第二分词规则转换成规则集合，包括：

将每一条所述第二分词规则转换成正则表达式；

将所述正则表达式转换成自动机的自动机语言集合。