[发明专利]对网络文本与手机短信进行不良内容识别的方法

说明书

技术领域

本发明属于文字处理技术领域，具体涉及对文本内容的解码，分析与过滤(拷贝检测)方法。

背景技术

随着Internet使用的日益普遍，网络上存在的各种不良信息(色情、反动、暴力等等)越来越多地干扰着互联网的正常秩序。由于缺乏传统媒体对信息发布的有效监控，大量本应受到严格管制的信息因而随之泛滥。如何有效控制这些信息的传播，并保障网络的内容安全，成为不良文本检索、监控研究的主要内容之一。现有的一些网络过滤系统大都是基于URL地址的过滤，该技术只是简单地对网络用户直接屏蔽掉设定在网络运营商防火墙中的不良内容网站URL地址数据库(俗称“黑名单”)中的网站，国内外市面上鲜有直接针对网络文本内容过滤的商用系统。虽然基于URL的屏蔽技术简单高效，但其却有着严重的局限性：由于网络运营商无法及时更新黑名单，这将导致很多新增色情网站成为漏网之鱼；同时，有些域名下并不是所有网页的内容都是不健康的，这又将导致一些正常内容被无辜屏蔽。基于文本内容的过滤却没有以上局限性，该技术是直接针对网络上文本进行实时内容分析，决定该文本是否允许下载到客户端——所以基于内容的过滤技术必然是互联网过滤系统的发展趋势。然而，中文由于其特殊的编码格式，在不同的机器上有不同的编码格式，因此进行编码格式确定是非常有必要的。另外，由于基于内容的过滤系统需要对文本进行智能分析，例如变体字，火星文的分析，因此必须对待检测文本进行格式转换。同时，文本的内容也具有两重性。例如“法轮功”是一个反动词汇，但是如果是一篇反对法轮功的文章，贸然的加以屏蔽，反而误会了作者的意思。所以对不良文本的识别还应该采用拷贝检测的方法，不考虑很难解决的语义问题，而是搜集大量黑白名单，用待测文本和黑白名单中的文本进行比较，若在白名单中有相似的文本，则认为其为正常文本。若在黑名单中有相似文本，则认为其为不良文本。

发明内容

本发明的目的在于提供一种效率高、速度快的对网络文本与手机短信进行不良内容识别的方法。

本发明提供的对网络文本与手机短信进行不良内容识别的方法，包括如下步骤：a.确定文本编码格式，是UTF8格式还是GBK格式。b：对文本进行格式转换，去掉空格和Internet网页上的标签，以及对变体字进行处理。c：将文本与短字符串词汇库进行比较，d：将文本与长字符串词汇库进行比较，e：对结果进行拷贝检测。从而确定整篇文章是否是不良文本。整个方法的特点是强调时间效率。

所述确定文本编码格式，包括GBK格式，UTF8格式。只有确定了文本的编码格式，才能用具体的词汇库对其进行检测。如果词汇库和文本的编码格式不相同，那么检测出来的结果一定是错误的，因此确定文本编码格式非常重要。

所述对文本进行格式转换，包括对字型变异，拼音变异，夹杂无意义特殊符号变异的格式转换。直接的文本检测起来非常方便，但如果对这些文本进行一些变形，例如刻意的用同音字或者同型字来代替，这样就给文本检测带来了一些挑战。常规的检测方法并没有考虑到变形字的影响，所以在碰到如“火星文”等网络新兴字体后就束手无措了，因此对文本格式进行转换就成了非常重要的步骤。对变异字的检测最主要的手段是将变异字同其原文字对应起来，但变异字种类繁多，变异方法也各种各样，并没有一个统一的办法将其与原文字对应，所以必须建立一个变形字库，将所有与原文字对应的变形字全部放入变形字库中。采用建立变形字库的方法有两种：拼音字库和字型字库，这两种办法结合起来就能完美的完成对变异字的格式转换了。

所述短字符串词库，为文字长度为4个(含)以下的词库，长字符串词库为文字长度4个字以上的词库。将词库进行分解来进行检测，是为了更好的提高检测效率。中文的语法强调短小精辟，一般的词汇都由是2到4个汉字组成。因此词汇库中，2到4个汉字的词汇占据了词汇库的绝大部分。将词库分开，对短字符串词库和长字符串词汇用不同的方法进行预处理，能将检测速度提高3到4倍。

所述对结果进行拷贝检测，包括白名单检测与黑名单检测。白名单是指通过收集大量的正常文本来分析其中的不良词汇出现的频率，位置，以及其前后文的情况，经过统计分析得出的一个特征库。黑名单正好想法，是通过收集大量的不良文本分析得到的特征库。如果某个不良文本与黑名单或白名单中的某些特征很相似，那么就可以通过相似度来判定文章是正常文本还是不良文本。

附图说明

图1是算法流程图。

图2是文本格式转换图。

图3是短字符串词库比较图。

图4是滑动窗口图。

具体实施方式