[发明专利]一种敏感词检测方法、装置、设备及介质

说明书

技术领域

本发明实施例涉及互联网技术，尤其涉及一种敏感词检测方法、装置、设备及介质。

背景技术

随着互联网行业的快速发展，网络用户可以在越来越多的地方随意发表言论，例如博客、论坛和游戏聊天室等。为了防止一些恶意、暴力言论被发表，运营商往往会设置一个数量庞大的敏感词库，当检测到言论内容包含任意敏感词时，即拒绝本次发言、或做改写发言内容。

传统的检测方法是依次遍历每个敏感词，判断该敏感词是否包含在发言内容中，该方法虽然有一定的可用性，由于敏感词数量庞大，在访问量巨大的网络应用中存在性能低下的问题；并且该方法可以通过改写绕过检测，检测正确率低。例如有一个敏感词“吴老大”，当发言内容为“我是吴老_大”时，精准的匹配检测就会失效，虽然发言内容并没有精准的包含“吴老大”，但这并不影响内容的散播。再例如发言人散播一个非法组织的QQ群时，假设内容为“12345678”，并且已经被管理员加入敏感词库，然而输入“一二345678”就可以轻松绕过检测。

发明内容

本发明实施例提供一种敏感词检测方法、装置、设备及介质，解决的现有的敏感词检测方法的检测性能低下且检测正确率低的问题。

第一方面，本发明实施例提供了一种敏感词检测方法，该方法包括：

将至少一个标准敏感词进行切词，获取所述标准敏感词对应的起始字；

对所述起始字进行去重复操作，得到标准字；

根据所述标准字，对所述标准敏感词构建倒排索引；

根据所述倒排索引，确定待检测语句中是否存在敏感词。

进一步地，所述根据所述倒排索引，确定待检测语句中是否存在敏感词包括：

将待检测语句进行切词，根据切词结果确定待测字；

根据所述待测字在待检测语句中的顺序，依次检测所述待测字在所述倒排索引中，是否存在以所述待测字为起始字的匹配敏感词；

当是时，将所述匹配敏感词与所述待检测语句中以所述待测字为起始字且长度与所述匹配敏感词的长度相同的待匹配词进行匹配；

当匹配时，确定所述待检测语句中存在敏感词。

进一步地，根据所述标准字，对所述标准敏感词构建倒排索引，包括：

基于哈希表构建倒排索引，其中标准字作为键，以所述标准字为起始字的标准敏感词作为值。

进一步地，将待检测语句进行切词，根据切词结果确定待测字包括：

将待检测语句进行切词，并判断切词得到的字是否是无效字符；

当否时，确定切词得到的字是待测字

进一步地，将待检测语句进行切词，根据切词结果确定待测字，还包括：

将待检测语句进行切词，并判断切词得到的字是否是待替换字符；

当是时，将待替换字符对应的替换字符作为待测字。

进一步地，在将至少一个标准敏感词进行切词之前，还包括：

判断敏感词之间是否有包含关系；

当是时，确定标准敏感词为具有包含关系的敏感词中被包含的敏感词。

第二方面，本发明实施例还提供了一种敏感词检测装置，该装置包括：

起始字获取模块，用于将至少一个标准敏感词进行切词，获取所述标准敏感词对应的起始字；

标准字获取模块，用于对所述起始字进行去重复操作，得到标准字；

倒排索引构建模块，根据所述标准字，对所述标准敏感词构建倒排索引；

敏感词确定模块，用于根据所述倒排索引，确定待检测语句中是否存在敏感词。

进一步地，所述敏感词确定模块包括：

待测字确定单元，用于将待检测语句进行切词，根据切词结果确定待测字；

匹配敏感词检测单元，用于根据所述待测字在待检测语句中的顺序，依次检测所述待测字在所述倒排索引中，是否存在以所述待测字为起始字的匹配敏感词；

匹配单元，用于当存在匹配敏感词时，将所述匹配敏感词与所述待检测语句中以所述待测字为起始字且长度与所述匹配敏感词的长度相同的待匹配词进行匹配；

敏感词存在确定单元，用于当匹配敏感词与待匹配词匹配时，确定所述待检测语句中存在敏感词。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的任一所述的敏感词检测方法。