[发明专利]敏感词识别方法、系统及计算机可读存储介质

说明书

本发明公开了一种敏感词识别方法、系统及计算机可读存储介质，该方法包括在接收到待识别文本时，向分布式缓存服务器发送数据访问请求，其中，所述数据访问请求包括主键，分布式缓存服务器接收到数据访问请求时，从自身对应的缓存节点中获取主键对应的搜索树，并将搜索树发送至词库检索服务器；接收所述分布式缓存服务器返回的主键对应的搜索树；基于AC自动机算法确定待识别文本与搜索树的匹配结果，并根据匹配结果确定所述待识别文本中的敏感词。本发明通过在分布式缓存服务器中缓存了搜索树，在进行敏感词识别后，可直接访问分布式缓存服务器，以读取搜索树，减轻了数据库的压力并提升了敏感词识别的识别速度。

技术领域

本发明涉及文字处理技术领域，尤其涉及敏感词识别方法、系统及计算机可读存储介质。

背景技术

随着互联网的普及，信息传播速度快、范围广、影响大，信息传播的过程中不可避免会出现敏感信息，带来了不良的社会影响。现有技术中通过敏感词库对待传播的信息中的敏感词进行匹配查找替换，但现有技术中所采用的敏感词库存储在硬盘中，在敏感词数量较大时，识别速度缓慢，导致对敏感词的过滤效果不佳。

发明内容

本发明的主要目的在于提供一种敏感词识别方法、系统及计算机可读存储介质，旨在解决现有技术中识别敏感词时识别速度缓慢的问题。

为实现上述目的，本发明提供一种敏感词识别方法，应用于词库检索服务器，所述敏感词识别方法的步骤包括：

在接收到待识别文本时，向分布式缓存服务器发送数据访问请求，其中，所述数据访问请求包括主键，所述分布式缓存服务器接收到所述数据访问请求时，从自身对应的缓存节点中获取所述主键对应的搜索树，并将所述搜索树发送至所述词库检索服务器；

接收所述分布式缓存服务器返回的所述主键对应的所述搜索树；

基于AC自动机算法确定所述待识别文本与所述搜索树的匹配结果，并根据所述匹配结果确定所述待识别文本中的敏感词。

可选地，所述在接收到待识别文本时，向分布式缓存服务器发送数据访问请求的步骤之前，还包括：

获取数据库中存储的敏感词词库，根据所述敏感词词库基于AC自动机算法建立所述敏感词词库对应的搜索树；

将所述搜索树同步到所述分布式缓存服务器中，以供所述分布式缓存服务器在对应的缓存节点中存储所述搜索树。

可选地，所述将所述搜索树同步到所述分布式缓存服务器中的步骤包括：

获取所述搜索树对应的各个结点的关系信息；

将各个所述结点与所述关系信息以键值对的形式同步到所述分布式存储服务器中，以供所述分布式存储服务器根据各个所述结点以及所述关系信息生成所述搜索树，并存储所述搜索树。

可选地，所述接收所述分布式缓存服务器返回的所述主键对应的搜索树的步骤之前，还包括：

监听敏感词词库更新信息，所述敏感词词库更新信息包括待更新敏感词；

根据所述敏感词词库更新信息对所述敏感词词库进行更新以得到更新后的敏感词词库并将所述更新后的敏感词词库存储在数据库中；

发送所述待更新敏感词至所述分布式缓存服务器，以供所述分布式缓存服务器根据所述待更新敏感词更新所述搜索树。

可选地，所述基于AC自动机算法确定所述待识别文本与所述搜索树的匹配结果，并根据所述匹配结果确定所述待识别文本中的敏感词的步骤包括：

根据所述待识别文本对应的各个字符与所述搜索树的各个节点进行匹配；

获取所述待识别文本与所述搜索树完整匹配的至少一个敏感词；