[发明专利]文本中不良文字信息的过滤方法及过滤系统

权利要求书

1.一种文本中不良文字信息的过滤方法，其特征在于，包括：

步骤1，提取待过滤文本；

步骤2，利用词典中词条长度动态确定最大匹配算法中词长Maxlen的值， 通过Mexlen对所述待过滤文本进行分词；

步骤3，循环判断分词后的每个词汇是否为敏感词汇，如果是敏感词汇， 采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

2.如权利要求1所述的文本中不良文字信息的过滤方法，其特征在于，所 述步骤2包括：

若所述待过滤文本中包含英文，则将所述英文按英文字符串分词；

若所述待过滤文本中包含数字，则将所述数字按数字字符串分词；

从所述待过滤文本中提取不包含英文和数字的待分词字符串；

利用词典中词条长度动态确定最大匹配算法中词长Maxlen的值，通过 Mexlen对所述待分词字符串进行分词。

3.如权利要求2所述的文本中不良文字信息的过滤方法，其特征在于，所 述利用词典中词条长度动态确定最大匹配算法中词长Maxlen的值，通过Mexlen 对所述待分词字符串进行分词包括：

01)为待分词字符串S1赋初值；

02)判断待分词字符串S1是否为空；如果未空，输出分词后的词串，及输 出未记录词串；

03)如果待分词字符串S1不为空，判断待分词字符串S1是否为单字，如 果是单字，直接分出单字；

04)如果不是单字，取待分词字符串S1左边第一个字W，通过词典中哈 希表找到对应所述第一个字W的词长度WLen；

05)判断所述待分词字符串的长度是否小于词长度WLen，如果小于，则 进入07)；

06)如果不小于，取待分词字符串中长为WLen的字串Word与词典中长 为WLen的词条逐一匹配；当所述字串与某一词条匹配，输出该字串；

07)如果未匹配，判断WLen是否为2，如果不是，PLen++，转04)

08)如果07)的结果为是，将所述字串输出为未记录词串。

4.如权利要求3所述的文本中不良文字信息的过滤方法，其特征在于，步 骤3包括：

加载敏感词汇库；

将所有分词后的词串依次在所述敏感词汇库中匹配，若匹配成功，则屏蔽 匹配成功的词串；

采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

5.如权利要求4所述的文本中不良文字信息的过滤方法，其特征在于，若 匹配不成功，则直接输出文本。

6.如权利要求3所述的文本中不良文字信息的过滤方法，其特征在于，在 步骤2和步骤3之间，还包括：将输出的未记录词串添加到词典中。

7.一种文本中不良文字信息的过滤系统，其特征在于，包括：

提取模块，用于提取待过滤文本；

分词模块，用于利用词典中词条长度动态确定最大匹配算法中词长Maxlen 的值，通过Mexlen对所述待过滤文本进行分词；

过滤模块，用于循环判断分词后的每个词汇是否为敏感词汇，如果是敏感 词汇，采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

8.如权利要求7所述的文本中不良文字信息的过滤系统，其特征在于，所 述分词模块包括：

英文分词单元，若所述待过滤文本中包含英文是，用于将所述英文按英文 字符串分词；

数字分词单元，若所述待过滤文本中包含数字，用于将所述数字按数字字 符串分词；

提取单元，用于从所述待过滤文本中提取不包含英文和数字的待分词字符 串；

动态分词单元，用于利用词典中词条长度动态确定最大匹配算法中词长 Maxlen的值，通过Mexlen对所述待分词字符串进行分词。

9.如权利要求8所述的文本中不良文字信息的过滤系统，其特征在于，所 述动态分词单元执行的分词程序为：

01)为待分词字符串S1赋初值；

02)判断待分词字符串S1是否为空；如果未空，输出分词后的词串，及输 出未记录词串；

03)如果待分词字符串S1不为空，判断待分词字符串S1是否为单字，如 果是单字，直接分出单字；

04)如果不是单字，取待分词字符串S1左边第一个字W，通过词典中哈 希表找到对应所述第一个字W的词长度WLen；

05)判断所述待分词字符串的长度是否小于词长度WLen，如果小于，则 进入07)；

06)如果不小于，取待分词字符串中长为WLen的字串Word与词典中长 为WLen的词条逐一匹配；当所述字串与某一词条匹配，输出该字串；

07)如果未匹配，判断WLen是否为2，如果不是，PLen++，转04)

08)如果07)的结果为是，将所述字串输出为未记录词串。