[发明专利]统一资源标识符地址收集方法及装置

说明书

技术领域

本发明涉及因特网技术领域，具体涉及一种统一资源标识符(URL，Uniform Resource Location)地址收集方法及装置。

背景技术

随着因特网的迅速发展，网站的数量不断地增加，其中包括很多涉及色情、暴力等可能带来法律风险的网站。企业为了避免法律风险，提高工作效率，需要在企业网络出口部署URL过滤网关，避免用户访问这些非法网站。

由于在不同的国家和地区，对URL地址分类有不同的需求。在中国需要提供符合本土需求的URL地址，现有的国外的商业URL地址库常常不能满足中国用户的需求，所以需要提供符合本土要求的URL地址库。

目前在收集URL地址时，通常采用以下两种方式：

方式一、在全球设置服务器，通过软件，不断收集URL地址。

其缺点是，需要部署大量的服务器，成本高。

方式二、雇用大量人员，手工收集URL地址。例如：到URL地址导航、URL地址大全等网站收集URL地址，然后将URL地址分类存储。

其缺点是，成本高，速度慢。

发明内容

本发明提供一种URL地址收集方法及装置，以降低收集URL地址的成本。

本发明的技术方案是这样实现的：

一种URL地址收集方法，该方法包括：

设定搜索条件，在搜索引擎中搜索符合搜索条件的HTML页面；

根据URL地址的字符特征，在搜索到的HTML页面的HTML脚本中搜索URL地址；

保存搜索到的URL地址。

所述在搜索引擎中搜索符合搜索条件的HTML页面之后进一步包括：在HTML页面的HTML脚本中搜索URL地址的描述字符，

所述保存搜索到的URL地址进一步包括：保存该URL地址的描述字符。

所述在搜索引擎中搜索符合搜索条件的HTML页面包括：

通过搜索引擎驱动函数，驱动搜索引擎按照所述设定的搜索条件进行搜索，得到符合所述搜索条件的HTML页面。

所述在搜索引擎中搜索符合搜索条件的HTML页面包括：

在预设搜索界面中输入与搜索条件对应的关键字，在搜索界面提供的搜索引擎中选定一个搜索引擎，打开选定的搜索引擎，得到包含该关键字的所有HTML页面。

所述在搜索到的HTML页面的HTML脚本中搜索URL地址包括：

将每个HTML脚本作为一个字符串，对每个HTML脚本字符串进行如下处理：

在HTML脚本字符串中搜索URL地址的开始特征字符，若搜索到，继续搜索URL地址的结束特征字符，将开始特征字符与结束特征字符之间的字符串作为一个URL地址，将HTML脚本字符串中位于所述URL地址结束特征字符之前的字符串删除，返回执行所述在HTML脚本字符串中搜索URL地址的开始特征字符的动作。

所述搜索引擎为google，

所述将每个HTML脚本作为一个字符串为：依次选择一个HTML脚本，将整个HTML脚本字符串赋值给X；

所述开始特征字符为：字符串“<h2 class＝r>”和“http://”，所述结束特征字符为：“</h2>”和“””，

所述在HTML脚本字符串中搜索URL地址的开始特征字符，若搜索到，继续搜索URL地址的结束特征字符包括：

在X中搜索“<h2class＝r>”，若搜索到，继续搜索“</h2>”，将位于“<h2class＝r>”和“</h2>”之间的字符串赋值给Y；在Y中搜索“http://”，若搜索到，继续搜索“””，将Y中位于“http://”和“””之间的字符串赋值给Z，则Z中位于第一个字符“/”之前的字符串为URL地址；

所述将HTML脚本字符串中位于所述URL地址结束特征字符之前的字符串删除为：将X中位于第一个“</h2>”之前的字符串删除。

所述将位于“<h2 class＝r>”和“</h2>”之间的字符串赋值给Y之后进一步包括：

将Y中位于每个“＞”和其后第一个“＜”之间的字符作为URL地址的描述字符。

一种URL地址收集装置，该装置包括：

HTML脚本搜索模块，在搜索引擎中搜索符合搜索条件的HTML页面，将搜索到的HTML页面的HTML脚本输出；

URL地址搜索模块，根据URL地址的字符特征，在HTML脚本搜索模块输入的每个HTML脚本中搜索URL地址，将搜索到的URL地址保存到URL地址存储模块。