[发明专利]一种混合文本敏感词变体识别方法和装置

权利要求书

1.一种混合文本敏感词变体识别方法，其特征在于，具体包括以下步骤：

S1，对文本进行切分处理，得到中文字符、数字字母字符串和遗弃字符三种类型的文本块，记录各文本块的一级位置索引表；

S2，对包含数字字母的混合的文本块进行切分处理，得到英文字符串、拼音字符串、数字字符三种类型的子文本块，记录各子文本块的二级位置索引表；

S3，将中文类型的文本块和S2得到的单一类型的子文本块转换为同一类型的字符串集；

所述同一类型为拼音字符类型；

S4，根据一级位置索引表和二级位置索引表将上一步得到的同一类型的字符串集按索引顺序进行排列，再转换成中英文词组集；具体指的是：

根据一级位置索引表和二级位置索引表将各个拼音类型的字符串及进行排列后，再通过拼音转汉字脚本转化，有中文映射关系的字符串转换成中文字符串，否则将保留为原字符串，保留下来的字符串以英文字符串的身份参与后续的敏感词匹配过程，将中英文字符串和其对应的位置索引以字典的形式存入中文字符串集；

S5，根据敏感词库对中英文词组集进行敏感词匹配。

2.根据权利要求1所述的一种混合文本敏感词变体识别方法，其特征在于，步骤S1具体包括以下步骤：

S101，对文本进行切分处理，得到中文字符、数字字母字符串和遗弃字符三种类型的文本块；

S102，记录各类型文本块及其对应的一级位置索引表；

S103，生成中文字符集、数字字母字符串集、遗弃字符集。

3.根据权利要求1所述的一种混合文本敏感词变体识别方法，其特征在于，步骤S2具体包括以下步骤：

S201，根据文本切分算法和专用词表对数字字母型文本块进行切分处理，得到英文字符串、拼音字符串、数字字符三种类型的子文本块；

S202，记录各类型的子文本块及其对应的二级位置索引表；

S203，生成英文字符串集、拼音字符串集、数字字符集。

4.根据权利要求1所述的一种混合文本敏感词变体识别方法，其特征在于，步骤S3将中文类型的文本块和S2得到的单一类型的子文本块转换为同一类型的字符串集；具体指的是：

将中文类型的文本块和单一类型的子文本块中除英文字符串以外的文本块全部转换为拼音字符类型的字符串集。

5.一种混合文本敏感词变体识别装置，其特征在于，用于实现权利要求1-4任一项所述的混合文本敏感词变体识别方法。