[发明专利]用于检测恶意网址的方法和系统

说明书

技术领域

本公开一般涉及计算机技术领域，具体涉及网络信息安全领域，尤其涉及一种用于检测恶意网址的方法和系统。

背景技术

在互联网上浏览网页时，一些恶意网站，例如钓鱼网站、挂马网站、欺诈网站等，使得网络用户的信息安全受到威胁。

目前，基于网页文本内容的恶意网页检测方法已经比较完善。然而，黑色产业站长为了绕过安全厂商的检测引擎，新出的恶意网址不再是包含大量的网页文本内容，而是通过加密算法和网页图片化技术对恶意网页进行处理，同时增加有依赖的网页跳转。有依赖的网页跳转具体表现为一次完整的网页请求中的下游网页依赖上游网页的相关信息，例如refer、cookie等，从而导致检测引擎获取到的网页结果缺少文本内容特征，检测能力急剧下降。

现有技术中一般通过静态爬虫抓取网页内容。静态爬虫的原理类似于Wget。Wget是“World Wide Web(万维网)”与“get(获取)”的结合，它是一个从网络上自动下载文件的自由工具，支持通过HTTP(超文本传输协议)、HTTPS(超文本传输安全协议)以及FTP(文件传输协议)这三个最常见的TCP/IP(传输控制协议/互联网协议)下载，并可以使用HTTP代理。

Wget将包括HTML(超文本标记语言)、css(级联样式表)、JavaScript、Flash文件等的网页内容下载下来，供检测引擎分析。检测引擎只能依赖网页中某些固定成分进行恶意网页打击。然而，这些固定成分依靠人工总结，依赖先验知识，费时费力，而且检测效果不好。

部分有研发实力的安全厂商会尝试动态爬虫。通过对开源的浏览器内核(诸如webkit或gecko之类的排版引擎)进行封装，使得爬虫能够渲染网页。然后输出网页渲染后的内容以供检测引擎分析。

然而，上述检测方案无法应对新出现的恶意网址。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种能够有效提高恶意网址检测能力的方案。

第一方面，本申请实施例提供了一种检测恶意网址的方法，包括：接收用户上报的统一资源定位符URL；获取与该URL关联的超文本传输协议HTTP请求链，HTTP请求链是包含访问URL的多次HTTP请求-响应交互信息的时序链表；以及分析该HTTP请求链以确定URL是否为恶意网址。

第二方面，本申请实施例还提供了一种检测恶意网址的系统，包括爬虫子系统和检测子系统。爬虫子系统包括爬虫调度服务器以及一个或多个动态爬虫服务器。爬虫调度服务器配置用于接收用户上报的统一资源定位符URL，以及调度动态爬虫服务器。动态爬虫服务器配置用于根据爬虫调度服务器的调度获取与URL关联的超文本传输协议HTTP请求链，HTTP请求链是包含访问所述URL的多次HTTP请求-响应交互信息的时序链表。检测子系统包括分析单元，配置用于分析HTTP请求链以确定URL是否为恶意网址。

本申请实施例提供的检测恶意网址的方案，通过获取与URL关联的HTTP请求链，能够得到较为全面的URL关联的网页内容，从而能够对恶意网址进行准确检测。按照本申请实施例的技术方案，对恶意网址的检测结果准确，能够检测各种新出现的恶意网址，而且用户友好，用户只需要上传URL，无需提供更多信息。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了其中可以应用本申请实施例的示例性系统架构；

图2示出了根据本申请实施例的用于检测恶意网址的方法的示例性流程图；

图3示出了HTTP请求链的一个示例性屏幕截图；

图4示出了HTTP请求链的一种示例性抽象表示方式；

图5示出了根据本申请一个实施例的用于获取HTTP请求链的方法的示例性流程图；

图6示出了根据本申请一个实施例的用于分析HTTP请求链的方法的示例性流程图；

图7示出了根据本申请另一实施例的用于检测恶意网址的方法的示例性流程图；

图8示出了一个仿冒QQ登录的恶意网址的页面截图；

图9示出了官方网站的页面截图；

图10示出了访问官方网站时的HTTP请求链信息；

图11、图12和图13分别示出了访问上述仿冒QQ登录的恶意网址的HTTP请求链信息中的一部分；

图14示出了根据本申请一个实施例的用于检测恶意网址的系统的示例性结构框图；以及