[发明专利]用于检测恶意网址的方法和系统

权利要求书

1.一种检测恶意网址的方法，包括：

接收用户上报的统一资源定位符URL；

获取与所述URL关联的超文本传输协议HTTP请求链，所述HTTP请求链是包含访问所述URL的多次HTTP请求-响应交互信息的时序链表；以及

从所述HTTP请求链提取特征以确定所述URL是否为恶意网址。

2.根据权利要求1所述的方法，其中，获取HTTP请求链包括：

利用基于用户地理位置的分布式动态爬虫子系统来获取HTTP请求链。

3.根据权利要求2所述的方法，其中，利用基于用户地理位置的分布式动态爬虫子系统来获取HTTP请求链包括：

确定所述用户所在的地理位置和网络环境信息；

将所述URL调度至地理位置和网络环境信息与所述用户接近的动态爬虫服务器；以及

在所述动态爬虫服务器处下载与所述URL关联的网页内容以获得HTTP请求链。

4.根据权利要求3所述的方法，其中，确定所述用户所在的地理位置和网络环境信息包括：

基于所述用户上报URL的互联网协议IP地址确定所述用户的地理位置以及所使用的网络运营商信息；以及

基于所述网络运营商信息确定所述用户的网络环境信息，其中所述网络环境信息至少包括网络带宽。

5.根据权利要求3所述的方法，其中，下载与所述URL关联的网页内容以获得HTTP请求链包括：

抓取经过跳转的网页内容并保存中间结果。

6.根据权利要求5所述的方法，其中，抓取经过跳转的网页内容包括以下至少一项：

利用浏览器的排版引擎对超文本标记语言文档对象模型HTML DOM树进行渲染，以抓取通过HTML文档中的内联框架iframe标签进行跳转的网页内容；

通过JavaScript引擎执行JavaScript代码，以抓取通过JavaScript代码进行跳转的网页内容；以及

通过Flash播放器插件执行Flash以抓取通过Flash进行跳转的网页内容。

7.根据权利要求1-6任一所述的方法，其中，从所述HTTP请求链提取特征以确定所述URL是否为恶意网址包括：

从所述HTTP请求链中提取以下至少一个维度的特征：上下游信息，服务器维度，网页编程语言维度，时间维度，网页自身描述信息；以及

利用建立的、经过机器学习的分类模型，基于所提取的特征确定所述URL是正常网址还是可疑恶意网址。

8.根据权利要求7所述的方法，其中，

所述上下游信息包括以下至少一项信息：302跳转次数，404页面占比，子URL是否包含广告联盟链接，子URL是否包含恶意子链接，子URL是否包含小型网站统计工具；

所述服务器维度包括以下至少一项信息：是否为境外互联网协议IP地址，是否是Windows IIS，是否采用内容分发网络CDN技术，是否是kangle服务器，是否是netbox服务器，是否是nginx服务器，是否是apache服务器，是否是多媒体视频；

所述网页编程语言维度包括以下至少一项信息：是否由动态服务器页面ASP语言编写，是否由超文本预处理器PHP语言编写；

所述时间维度包括以下至少一项信息：是否是热点时间，是否是周末；并且

所述网页自身描述信息包括以下至少一项信息：网页大小，单个URL加载时间，网站是否备案，是否经过加密处理，是否是免费二级域名。

9.根据权利要求7所述的方法，其中，所述方法进一步包括：

响应于确定所述URL是可疑恶意网址，将与所述URL关联的网页内容渲染成图片并利用光学字符识别OCR技术提取网页文本内容；

通过隐含语义模型对所述网页文本内容进行主题判断；以及

基于主题判断结果确定所述URL是否为恶意网址。

10.根据权利要求9所述的方法，其中，所述方法进一步包括：

对所述主题判断结果进行去误报处理。