[发明专利]文本中不良文字信息的过滤方法及过滤系统

说明书

技术领域

本发明涉及文本处理技术领域，具体涉及文本中不良文字信息的过滤方法 及过滤系统。

背景技术

在互联网时代，文字内容聊天普及，一些不法分子利用互联网宣传一些负 面消息，或牵涉时政，或造谣传谣，或攻击网络用户，造成了负面影响。为创 建一个文明和谐的互联网文字内容聊天环境，对一些敏感词汇过滤是必不可少 的。

现有的互联网文字过滤系统和方法，虽然也具有一定的文字筛选和过滤功 能，但是在系统的整体过滤精度，过滤效率和处理大并发能力方面，传统方法 在分词准确方面缺乏智能型，不能通过学习用户的特征进行智能升级。

发明内容

本发明的目的在于提供一种文本中不良文字信息的过滤方法及过滤系统， 解决现有互联网文字过滤精度低、速度慢的问题。

本发明提供了一种文本中不良文字信息的过滤方法，其包括：

步骤1，提取待过滤文本；

步骤2，利用词典中词条长度动态确定最大匹配算法中词长Maxlen的值， 通过Mexlen对所述待过滤文本进行分词；

步骤3，循环判断分词后的每个词汇是否为敏感词汇，如果是敏感词汇， 采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

在一些实施例中，优选为，所述步骤2包括：

若所述待过滤文本中包含英文，则将所述英文按英文字符串分词；

若所述待过滤文本中包含数字，则将所述数字按数字字符串分词；

从所述待过滤文本中提取不包含英文和数字的待分词字符串；

利用词典中词条长度动态确定最大匹配算法中词长Maxlen的值，通过 Mexlen对所述待分词字符串进行分词。

在一些实施例中，优选为，所述利用词典中词条长度动态确定最大匹配算 法中词长Maxlen的值，通过Mexlen对所述待分词字符串进行分词包括：

01)为待分词字符串S1赋初值；

02)判断待分词字符串S1是否为空；如果未空，输出分词后的词串，及输 出未记录词串；

03)如果待分词字符串S1不为空，判断待分词字符串S1是否为单字，如 果是单字，直接分出单字；

04)如果不是单字，取待分词字符串S1左边第一个字W，通过词典中哈 希表找到对应所述第一个字W的词长度WLen；

05)判断所述待分词字符串的长度是否小于词长度WLen，如果小于，则 进入07)；

06)如果不小于，取待分词字符串中长为WLen的字串Word与词典中长 为WLen的词条逐一匹配；当所述字串与某一词条匹配，输出该字串；

07)如果未匹配，判断WLen是否为2，如果不是，PLen++，转04)

08)如果07)的结果为是，将所述字串输出为未记录词串。

在一些实施例中，优选为，步骤3包括：

加载敏感词汇库；

将所有分词后的词串依次在所述敏感词汇库中匹配，若匹配成功，则屏蔽 匹配成功的词串；

采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

在一些实施例中，优选为，若匹配不成功，则直接输出文本。

在一些实施例中，优选为，在步骤2和步骤3之间，还包括：将输出的未 记录词串添加到词典中。

本发明还提供了一种文本中不良文字信息的过滤系统，其包括：

提取模块，用于提取待过滤文本；

分词模块，用于利用词典中词条长度动态确定最大匹配算法中词长Maxlen 的值，通过Mexlen对所述待过滤文本进行分词；

过滤模块，用于循环判断分词后的每个词汇是否为敏感词汇，如果是敏感 词汇，采用非敏感词汇替换所述敏感词汇后，输出替换敏感词汇后的文本。

在一些实施例中，优选为，所述分词模块包括：

英文分词单元，若所述待过滤文本中包含英文是，用于将所述英文按英文 字符串分词；

数字分词单元，若所述待过滤文本中包含数字，用于将所述数字按数字字 符串分词；

提取单元，用于从所述待过滤文本中提取不包含英文和数字的待分词字符 串；

动态分词单元，用于利用词典中词条长度动态确定最大匹配算法中词长 Maxlen的值，通过Mexlen对所述待分词字符串进行分词。