[发明专利]一种爬虫的爬取方法及装置

权利要求书

1.一种爬虫的爬取方法，其特征在于，包括：

获取待爬取域名；

对所述待爬取域名进行域名解析，根据解析的结果判断所述待爬取域名与预置域名是否相同；

对与所述预置域名相同的待爬取域名进行爬取。

2.根据权利要求1所述的方法，其特征在于，所述获取待爬取域名，包括：

获取所述待爬取页面的html源码；

解析所述html源码，得到所述待爬取页面的网址；

将所述待爬取页面的网址作为待爬取域名。

3.根据权利要求1所述的方法，其特征在于，所述对所述待爬取域名进行域名解析，包括：

通过域名管理机构获取顶级域名库，所述顶级域名库中包括已注册的顶级域名；

根据所述顶级域名库和所述待爬取域名，识别所述待爬取域名的顶级域名；

根据所述识别出的顶级域名，得到所述待爬取域名的主域名和前缀。

4.根据权利要求3所述的方法，其特征在于，所述根据所述顶级域名库和所述待爬取域名，识别所述待爬取域名的顶级域名，包括：

以分隔符对所述待爬取域名进行分段，将所述待爬取域名的最后一个分段作为当前待解析分段；

识别所述顶级域名库中是否存在与所述当前待解析分段相同的顶级域名；

若所述顶级域名库中存在与所述当前待解析分段相同的顶级域名，则将所述当前待爬取域名的分段由后往前递加一个分段作为更新的当前待解析分段，并重复执行所述识别所述顶级域名库中是否存在与所述当前待解析分段相同的顶级域名的步骤，直到识别出所述顶级域名库中不存在与所述当前待解析分段相同的顶级域名为止，并将最后一次识别出的顶级域名 作为所述待爬取域名的顶级域名。

5.根据权利要求4所述的方法，其特征在于，所述根据所述识别出的顶级域名，得到所述待爬取域名的主域名和前缀，包括：

将所述识别出的顶级域名的前一个分段作为所述待爬取域名的主域名；

将所述待爬取域名中除去所述识别出的顶级域名和主域名后得到所述待爬取域名的前缀。

6.根据权利要求5所述的方法，其特征在于，所述根据解析的结果判断所述待爬取域名与预置域名是否相同，包括：

根据识别出所述待爬取域名的各个分段，将所述待爬取域名的主域名和顶级域名分别与预置域名的主域名和顶级域名进行对比，判断所述待爬取域名的主域名和顶级域名与所述预置域名的主域名和顶级域名是否相同。

7.一种域名解析装置，其特征在于，包括：

获取单元，用于获取待爬取域名；

解析单元，用于对所述待爬取域名进行域名解析，根据解析的结果判断所述待爬取域名与预置域名是否相同；

爬取单元，用于对与所述预置域名相同的待爬取域名进行爬取。

8.根据权利要求7所述的装置，其特征在于，所述解析单元，包括：

获取模块，用于通过域名管理机构获取顶级域名库，所述顶级域名库中包括已注册的顶级域名；

识别模块，用于根据所述顶级域名库和所述待爬取域名，识别所述待爬取域名的顶级域名；

解析模块，用于根据所述识别出的顶级域名，得到所述待爬取域名的主域名和前缀。

9.根据权利要求8所述的装置，其特征在于，所述识别模块，具体用于：

以分隔符对所述待爬取域名进行分段，将所述待爬取域名的最后一个分段作为当前待解析分段；

识别所述顶级域名库中是否存在与所述当前待解析分段相同的顶级域 名；

若所述顶级域名库中存在与所述当前待解析分段相同的顶级域名，则将所述当前待爬取域名的分段由后往前递加一个分段作为更新的当前待解析分段，并重复执行所述识别所述顶级域名库中是否存在与所述当前待解析分段相同的顶级域名的步骤，直到识别出所述顶级域名库中不存在与所述当前待解析分段相同的顶级域名为止，并将最后一次识别出的顶级域名作为所述待爬取域名的顶级域名。

10.根据权利要求9所述的装置，其特征在于，所述解析模块，具体用于：

将所述识别出的顶级域名的前一个分段作为所述待爬取域名的主域名；

将所述待爬取域名中除去所述识别出的顶级域名和主域名后得到所述待爬取域名的前缀。