[发明专利]内容过滤方法和装置

说明书

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种内容过滤方法和装置。

背景技术

互联网作为全球最大的信息中心，正以惊人的速度发展壮大，但是其中的信息良莠不齐，存在为数不少的不良网站、不良资源。另外还存在一些包含恶意软件的可疑网站，会威胁到用户的个人隐私甚至破坏用户的电脑。

为避免不良信息的危害，现有技术采用了基于应用层协议的内容过滤技术对网页进行过滤。例如，对于企业网网关来说，可以通过配置过滤策略来过滤某些类型内容的网页，从而达到限制企业网内部用户进行禁止的行为，例如禁止访问不良网站或观看在线电影等。

现有技术典型是通过超文本传输协议（Hyper Text Transfer Protocol，简称HTTP）请求消息中的目标统一资源定位符（Uniform Universal Resource Locator，简称URL）地址来对目标网站进行分类。如果发现网页属于应该过滤的种类，例如色情、暴力等，则把HTTP请求重定向到另外一个提示页面，或者直接把网络连接断开。

现有内容过滤技术一般是由用户预先设定规则条件和过滤条件，采用预编译的过滤器对请求打开网页的URL地址与规则条件相匹配，对与规则条件匹配一致的URL地址，再按照过滤条件进行阻断或放行等处理。规则条件例如可以为“if URL含有sina”、“if URL等于www.abc.com”等单个的字符串匹配条件，各条规则条件可以基于确定有限状态自动机（Deterministic Finite-State Automata，简称DFA）算法形成DFA图，各网页地址基于DFA图进行精确匹配以判断是否与规则条件一致。过滤条件例如可以为“当满足“if URL含有sina”时就执行将网页放行的策略”，或“当满足“if URL等于www.abc.com”时就将该网页阻断或重定向的策略”。所以需要将与规则条件匹配一致的网页地址进一步在过滤条件中匹配，以便确定该执行哪种处理策略。

但是，现有技术的这种内容过滤技术存在较大缺陷。对URL地址进行内容过滤采用的规则条件匹配方法是通过采用DFA图进行的，当规则条件的数量太多或者要求支持复杂规则条件配置，例如包括通配符的正则表达式型，诸如“.*/abc.*/news”、“.*/.www/.domain.*/.com”等，则会遇到耗用大量内存的问题。这个是DFA算法的主要缺点，现有技术可以采用压缩的DFA，如D2FA（Delayed DFA）算法代替标准DFA进行匹配，但是会造成匹配性能低下，因为D2FA算法的时间效率比标准DFA低好几倍。

所以，如何兼顾内容过滤技术中内存占用量和匹配性能，成为现有技术中需要解决的技术问题。

发明内容

本发明实施例提供一种内容过滤方法和装置，以减小内容过滤的内存占用且获得良好的匹配效果。

本发明实施例提供了一种内容过滤方法，包括：

从输入的一条或多条规则条件中分别提取关键字；

根据提取的关键字对所述一条或多条规则条件划分成一个或多个分组，使得同一分组中的规则条件具有相同的关键字，并为所述提取的关键字预编译分组匹配数据集合；

分别为所述提取的关键字中的各关键字对应分组的规则条件预编译精确匹配数据集合；

获取待过滤内容；

利用所述分组匹配数据集合，对所述待过滤内容进行关键字的匹配,得到匹配到的关键字；

利用匹配到的关键字对应分组的规则条件的精确匹配数据集合，对所述待过滤内容进行规则条件的精确匹配；

根据所述精确匹配的匹配结果执行与所述匹配结果对应的过滤策略。

本发明实施例还提供了一种内容过滤装置，包括内容获取模块、内容过滤模块和策略实施模块，其中，

所述内容获取模块，用于获取待过滤内容；

所述内容过滤模块包括：

关键字提取单元，用于从输入的一条或多条规则条件中分别提取关键字；

分组编译单元，用于根据提取的关键字对所述一条或多条规则条件划分成一个或多个分组，使得同一分组中的规则条件具有相同的关键字，并为所述提取的关键字预编译分组匹配数据集合；

规则条件编译单元，用于分别为所述提取的关键字中的各关键字对应分组的规则条件预编译精确匹配数据集合；

分组匹配单元，用于利用所述分组匹配数据集合，对所述待过滤内容进行关键字的匹配,得到匹配到的关键字；

规则条件匹配单元，用于利用匹配到的关键字对应分组的规则条件的精确匹配数据集合，对所述待过滤内容进行规则条件的精确匹配；