[发明专利]一种智能敏感字词识别系统

说明书

本发明提供一种智能敏感字词识别系统，包括：获取模块、文本识别模块和图片识别模块；其中获取模块用于使用网络爬虫对目标网页的文本和图片进行抓取，获取目标网页的文本信息和图片信息；文本识别模块用于对获取的文本信息进行预处理，对预处理后的文本信息进行敏感词识别处理，获取文本敏感词识别结果；图片识别模块用于对获取的图片信息进行预处理，对预处理后的图片信息进行文本提取，并根据提取的文本信息进行敏感词识别处理，获取图片敏感词识别结果。本发明能够针对以图片形式发布的敏感文字信息进行识别，并进一步将网站上的敏感信息进行屏蔽，保证了网站的信息健康环境，同时也有助于提高网站管理者对网站的管理水平。

技术领域

本发明涉及网络管理技术领域，特别是一种智能敏感字词识别系统。

背景技术

对于一个国家甚至世界来说，健康的网络环境十分重要的，这关乎到这个社会的健康发展。然而，由于部分网站对用户开放了较多的权限，例如论坛、贴吧、聊天室网站等，各用户能够在网站上自由发表信息或评论，因此也有一些不法用户利用这些网站大肆发布敏感信息，容易导致网站上泛滥大量的敏感性文字和词汇，如涉及色情、政治、民生、涉赌、涉毒等类别的词汇，这严重影响着网站环境，给网站管理者带来非常严峻的挑战，故越来越多的网站管理机构开始采用专门的软件来对自家的网站进行敏感性词汇的监测。

现有技术中，很多传统的监测软件都是基于规则匹配的，大都基于预先设置好的敏感词库，然后对网站进行爬虫，最后对网站进行词汇匹配；但是，由于这种检测方式模式过于单一，因此，容易被不法用户轻易规避，例如将文字信息转化成图片的文件格式(例如是在一幅图片的基础上的空白位置编辑需要发布的敏感文字信息，然后将整个图片进行发布)进行发布，以规避针对文本信息的敏感，影响针对网站敏感字词识别检测的可靠性。

发明内容

针对上述问题，本发明旨在提供一种智能敏感字词识别系统。

本发明的目的采用以下技术方案来实现：

本发明示出一种智能敏感字词识别系统，包括：获取模块、文本识别模块和图片识别模块；其中，

获取模块用于使用网络爬虫对目标网页的文本和图片进行抓取，获取目标网页的文本信息和图片信息；

文本识别模块用于对获取的文本信息进行预处理，对预处理后的文本信息进行敏感词识别处理，获取文本敏感词识别结果；

图片识别模块用于对获取的图片信息进行预处理，对预处理后的图片信息进行文本提取，并根据提取的文本信息进行敏感词识别处理，获取图片敏感词识别结果。

一种实施方式中，该系统还包括处理模块；其中，

处理模块用于当识别到目标网页包含敏感信息时，屏蔽该敏感信息。

一种实施方式中，获取模块包括文字获取单元和图片获取单元；其中，

文字获取单元用于获取目标网页中的文本信息；

图片获取单元用于获取目标网页中的图片信息。

一种实施方式中，文本识别模块，具体包括：分词单元、主题分类单元和识别单元；其中，

分词单元用于对获取的网页文本信息进行分词处理，将网页文本信息拆分成由若干个单词组成的词向量集；

主题分类单元用于根据获取的词向量集进行主题分类识别，获取该词向量集的主题分类标签；其中主题分类标签包括：体育、教育、游戏、政府和企业等不同主题的标签，每个主题分类标签对应设置有对应的敏感词库；

识别单元用于根据该词向量集的主题分类标签，调用相应的基于深度学习的敏感词识别模型对该词向量集进行敏感词识别，输出文本敏感词识别结果；其中调用的敏感词识别模型由根据与该主题分类标签对应的敏感词库训练所得。