[发明专利]一种黑名单系统工作方法

说明书

本发明公开了一种黑名单系统工作方法，用户输入重要合法访问请求集合、非法访问请求集合，构建黑名单系统包括复合型过滤器和全量黑名单；构造复合型过滤器时对所有重要合法访问请求和非法访问请求加以记录；在部署运行阶段对持续输入的访问请求进行合法性判别，如果该访问请求不在复合型过滤器内，判定为合法访问请求；否则，继续检索全量黑名单验证该请求是否是非法访问请求。本发明公开的黑名单系统工作方法动态地判定并阻止访问非法访问请求，同时降低重要合法访问请求的判定延迟。该方法可快速过滤非法访问请求，同时解决现有黑名单系统不能兼顾过滤效率和准确率的问题。

技术领域

本发明属于涉及网络安全领域，具体涉及一种黑名单系统工作方法。

背景技术

构造黑名单系统（Blacklist）是网络安全领域一个重要的技术问题。给定黑名单集合。黑名单系统就是为了判定任意的网络接入请求是否在该黑名单里。黑名单系统在各种系统尤其是在有网络接入的系统，比如电子商务网站、大数据计算服务等有广泛的应用。目前已有的黑名单系统工作方法可以分为两类：一类是全量验证的方法，另一类是基于过滤的方法。全量验证的方法是把每一个请求都在所有的黑名单中对比。而基于过滤的方法，则基于“过滤-验证”框架，会先使用过滤器过滤掉合法访问请求，从而得到潜在的非法访问请求，再进一步去检查黑名单全集从而最终准确确定是否是非法访问请求。

第一类全量验证的方法，直观的做法是在全体黑名单集合上构建一个哈希表，为每个需要验证的请求计算其哈希的位置，然后将哈希的位置加载进来再挨个对比。全量计算的方式可以得到100%的准确率，但是响应速度慢，尤其是需要从外存加载整个黑名单数据集，在网络访问中会引起较大延迟。

第二类基于过滤的方法则会通过各种过滤器过滤掉合法访问请求，过滤不掉的记录就是潜在的非法访问请求记录，再进行进一步的全量验证。相比于全量验证，过滤机制的引入可以极大的降低单个请求判定的时间。

目前的黑名单系统虽然可以较好的确认给定的请求是否是非法访问请求，但是对于一些重要用户的访问请求仍然存在极大的延迟。

发明内容

发明目的：本发明的目的在于提供满足重要用户的访问请求低延迟访问的黑名单系统工作方法。

技术方案：本发明为实现上述发明目的，公开一种黑名单系统工作方法，该方法包括步骤如下：

（1）输入重要合法访问请求集合、非法访问请求集合，构建黑名单系统包括复合型过滤器和全量黑名单；

（2）构建复合型过滤器；使用k个哈希函数将每个重要合法访问请求映射到计数器数组中k个计数器内，修改计数器的正部字段完成重要合法访问请求录入；

（3）使用k个哈希函数将每个非法访问请求映射到计数器数组中k个计数器内，修改计数器的负部字段完成非法访问请求录入；当非法访问请求的映射和重要合法访问请求的映射发生冲突时，调整非法访问请求映射使用的哈希函数并记录；

（4）构建全量黑名单；将每个非法访问请求完整的记录在全量黑名单中；

（5）接收用户输入的需要判别合法性的访问请求，如果该访问请求不在复合型过滤器内，那么就是合法访问请求；否则，继续检索全量黑名单验证该请求是否是非法访问请求。

进一步的，复合型过滤器包括哈希调制器和计数器数组，哈希调制器包括一组调制元组，每个调制元组由调制计数器与调制索引构成；调制计数器记录了其所属的调制元组被使用的次数；调制索引记录了该调制元组内存储的哈希函数的索引。计数器数组由一组计数器组成，每个计数器包含正部和负部两个字段。

进一步的，步骤2中重要合法访问请求所映射计数器的正部字段的值设置为1。

进一步的，步骤3中非法访问请求录入复合型过滤器具体步骤如下：