[发明专利]一种敏感词过滤方法、装置、电子设备、存储介质

说明书

本发明提供了一种敏感词过滤方法、装置、电子设备及存储介质，该方法中，预先配置和加载敏感词库，并在敏感词库变化时重新加载敏感词库，具体步骤包括：获取用户输入的文本；基于预先设定的步幅范围对用户输入的文本进行遍历；在遍历过程中，对于遍历到的每个文本字符串，将该文本字符串与加载的敏感词库中的所有敏感词进行匹配，如果成功匹配到敏感词库中的一个敏感词，则确定用户输入的文本中存在敏感词，终止对用户输入的文本的遍历操作，并禁止发布用户输入的文本；在遍历结束后，如果确定遍历到的所有文本字符串均未与敏感词库中的敏感词匹配成功，则确定用户输入的文本中不存在敏感词，允许发布用户输入的文本。

技术领域

本发明涉及通信技术领域，特别涉及一种敏感词过滤方法、装置、电子设备、存储介质。

背景技术

当前互联网中，存在各式论坛供用户进行留言和评论，论坛中每天都会产生百万级甚至千万级别的帖子和评论，而其中不可避免的产生不符合主流价值观和有违社会道德的留言或评论产生，如何能够做到避免这些不好的评论被发出，发出后如何能够做到快速的清理，成为了每个网站管理员必须面对的难题。

目前的主流解决方案均是采用了对文本的分词，再将分词结果比对敏感词库，从而判断文本中是否包含指定敏感词。然而，在网络日益成为人们获取信息、交流思想、休闲娱乐的重要平台的今天，新鲜的网络词汇如雨后春笋一般涌现，而分词工具所依赖的词典不能做到实时更新，这就会导致分词结果的不准确，例如，一些网络词汇被分割成不能代表其正确含义的词汇，甚至一些词汇会被错误的分隔，从而也间接导致了敏感词过滤的准确度。

发明内容

有鉴于此，本发明的目的在于提供一种敏感词过滤方法、装置、电子设备、存储介质，能够提高敏感词过滤的准确度。

为了达到上述目的，本发明提供了如下技术方案：

一种敏感词过滤方法，预先配置和加载敏感词库，并在敏感词库变化时重新加载敏感词库，该方法包括：

获取用户输入的文本；

基于预先设定的步幅范围对用户输入的文本进行遍历；

在遍历过程中，对于遍历到的每个文本字符串，将该文本字符串与加载的敏感词库中的所有敏感词进行匹配，如果成功匹配到敏感词库中的一个敏感词，则确定用户输入的文本中存在敏感词，终止对用户输入的文本的遍历操作，并禁止发布用户输入的文本；

在遍历结束后，如果确定遍历到的所有文本字符串均未与敏感词库中的敏感词匹配成功，则确定用户输入的文本中不存在敏感词，允许发布用户输入的文本。

一种敏感词过滤装置，包括：配置模块、文本输入模块、实时文本过滤模块；

所述配置模块，用于配置和加载敏感词库，并在敏感词库变化时重新加载敏感词库；用于预先设定文本遍历的步幅范围；

所述文本输入模块，用于获取用户输入的文本；

所述实时文本过滤模块，包括第一遍历子模块、第一匹配子模块；其中，

所述第一遍历子模块，用于基于配置模块预先设定的步幅范围对文本输入模块获取的用户输入的文本进行遍历；

所述第一匹配子模块，用于在第一遍历子模块对用户输入的文本的遍历过程中，对于遍历到的每个文本字符串，将该文本字符串与加载的敏感词库中的所有敏感词进行匹配，如果成功匹配到敏感词库中的一个敏感词，则确定用户输入的文本中存在敏感词，终止第一遍历子模块对用户输入的文本的遍历操作，并禁止发布用户输入的文本；用于在遍历子模块对用户输入的文本的遍历结束后，如果确定遍历到的所有文本字符串均未与敏感词库中的敏感词匹配成功，则确定用户输入的文本中不存在敏感词，允许发布用户输入的文本。