[发明专利]敏感词检索方法、装置及存储介质

说明书

一种敏感词检索方法，包括：步骤(S1)，根据敏感词词库来创建敏感词词图，该敏感词词图是各个顶点分别为各个敏感词的起始字符和终止字符、且各条边分别连接了每个敏感词各自的起始字符和终止字符的无向图；步骤(S2)，预设包括各个敏感词的敏感词长度的预设值；步骤(S3)，从文本的首字符起逐一遍历每个文本字符，以当前遍历到的文本字符作为第一文本字符，当在所述敏感词词图中查找到与所述第一文本字符相一致的起始字符时，在文本中找到从第一文本字符起按敏感词长度计算得到的位置上的第二文本字符，当在敏感词词图中遍历到与第二文本字符相一致的终止字符时，启动基于逐次二分法的字符串匹配法的运算来进行敏感词判定。

技术领域

本发明涉及一种敏感词检索方法及装置，尤其涉及一种可控粒度的敏感词检索方法。

背景技术

近年，随着大数据时代的到来，数据开始呈现爆炸式的增长，给信息质量的监测和过滤带来严峻的考验。现有的网络文本信息监测大多通过敏感词的检索与告警来控制，敏感词的检索与告警是指通过制定敏感词词库，将文本信息与敏感词词库进行匹配，从而找出含有敏感信息的词汇(也称为脏词)，并对其进行告警。

敏感词检索注重的是效率和准确率，优秀的检索算法要做到：只进行一次对文本的扫描；尽可能不触发敏感词词库的检索；如果确实需要触发检索了，那么每次触发检索的时候，要尽可能减少检索所需要遍历的字符数量；每次对比敏感词词库的时候，减少运算量。

现有的敏感词检索方法主要有如下两种：

(1)自动机算法

该算法以目标文本为主体，将所有敏感词构建为词图，即是将所有敏感词组织为一个图关系，以任意一个字都可以查出以该字为开头的词。然后，对文本进行逐一搜索并看每个字是否在图中存在，如果存在看是否有对应的词存在，如果存在，则匹配成功，记录下来，继续往下搜索直到搜索完整个文本。

(2)TTMP(Terminator Triggered Multi-Pattern)算法

首先，扫描文章里面的每一个字符，只有当某一个字符是脏字表(一种表状结构的敏感词词库)中任意一个敏感词的第一个字符(称为“起始符”)，将其位置保存起来，才判断接下来是否是脏字，以触发检索。

接下来，并不是开始循环脏字表的每一个词条，而开始检索下一个字符，先看一下这个字符是否是脏字表里面的任意一个字符，如果不是，就表明不可能是脏字表中的任何一个条目，就可以退出了；如果是，就选取从第一个被检出字符到目前扫描到的字符之间的字符串，求hash值，看看能否从hash表中检出一个敏感词。如果检出来，就证明是敏感词；否则继续检索后面的字符，直至找不到，或者超出脏字表条目最大的长度。

但是，上述现有的敏感词检索方法存在如下问题：

(1)自动机算法匹配率比较低，耗内存且慢。

(2)TTMP算法使用的敏感词表结构不够简化，存在诸多冗余数据。

(3)TTMP算法并未考虑到对于检索敏感词的优先级。

(4)TTMP算法计算hash值的计算开销较大。

发明内容

本发明是鉴于现有的敏感词检索方法中的上述问题而做出的。其目的在于提供一种敏感词检索方法、装置及存储介质，能够提高敏感词检索效率，简化敏感词词库结构和使用开销，且能够动态实现敏感词检索的粒度可控。

本发明的一个方面的敏感词检索方法，在作为检索对象的文本中检索被预先设定于敏感词词库中的多个敏感词，所述敏感词检索方法包括：

敏感词词图创建步骤，根据所述敏感词词库来创建敏感词词图，该敏感词词图是各个顶点分别为各个敏感词的起始字符和终止字符、且各条边分别连接了每个敏感词各自的起始字符和终止字符的无向图；